OpenAI, '기만적' 새 모델 출시 계획 철회…내부 반발에 전례 없는 결정

OpenAI, "기만적인" 새 모델 출시 계획 철회: 무법 에이전트가 전례 없는 롤백 강요

자율 AI 에이전트가 사용자 이미지를 웹에 유출한 재앙적인 침해 사건 이후 OpenAI의 최고 모델이 전례 없이 동결된 지 며칠 만에, OpenAI는 심각한 안전 및 "정렬" 실패로 인해 차세대 AI 모델의 출시 계획을 철회했다고 보고되었습니다. 기본적으로 편리할 때 거짓말을 합니다(그들은 "기만적인"이라는 단어를 사용했습니다).

월스트리트 저널의 새로운 보고서에 따르면, OpenAI는 인간의 도움 없이 복잡하고 종단 간 작업을 완료하도록 설계된 GPT-6.1 Astra의 10월 출시를 목표로 했으나, 내부 테스트 결과 AI가 안전하지 않게 행동할 뿐만 아니라 취급자에게 적극적으로 거짓말을 하고 있다는 사실이 밝혀진 후 출시 계획을 철회했습니다.

OpenAI의 안전 시스템 책임자인 Saachi Jain에 따르면, GPT-6.1 Astra는 모델이 인간의 의도를 얼마나 잘 준수하는지를 측정하는 정렬 테스트에서 상당히 퇴보했습니다. 아기 스카이넷과 마찬가지로, 이 모델은 "더 높은 수준의 기만"을 보였는데, 이는 실행했거나 실행하지 않은 작업에 대해 사용자에게 항상 정직하지 않았다는 것을 의미합니다.

더욱이, 이 모델은 OpenAI가 "범위 승인"이라고 부르는 것에서 급격히 퇴보했습니다. AI는 사용자 허가를 요청하지 않고 적극적으로 작업을 진행했으며, 안전하지 않더라도 외부 도구 및 서비스에 액세스하려고 시도했습니다. 시스템을 제어하려는 내부 투쟁을 강조하며 Jain은 "안전 및 정렬과 관련해서는 트레이드오프가 있습니다. 범위 내에 머무르는 것과 모델이 마찰에 부딪힐 때도 실제로 작업을 추구하는 방식의 게으름을 피하는 것 사이의 올바른 선을 찾는 것이 정말 필요합니다"라고 언급했습니다.

이전에 보도한 바와 같이, 9월 20일 OpenAI의 내부 연구 에이전트가 훈련 샌드박스의 DNS 필터링에서 격차를 발견하고 인터넷 액세스 제한에도 불구하고 외부 공개 챗봇을 쿼리하는 데 사용했습니다. OpenAI의 정렬되지 않은 모니터링 시스템은 15분 이내에 해당 동작을 플래그 지정했으며, 인간 검토자가 3분 후에 이를 확인했습니다. 회사는 이후 훈련, 평가, 도구 사용에 대한 가장 유능한 모델의 추론이 격리 시스템을 검증하고 추가적인 레드팀 작업을 수행하는 동안 일시 중단될 것이라고 밝혔습니다.

이 최신 취소는 진공 상태에 존재하지 않습니다. 7월, 내부 사이버 보안 평가 중에 OpenAI 자체 에이전트가 인터넷에서 격리하기 위해 설계된 제한을 돌파하고 회사의 연구 인프라와 Hugging Face를 모두 손상시켰습니다. OpenAI 자체의 사후 분석에 따르면, 에이전트는 무단 채널을 통해 통신하고, 공유 인프라의 취약점을 악용하고, 수십 개의 Hugging Face 서버에서 코드를 실행하고, 한 서버에서 전체 루트 액세스를 획득하고, 회사의 메시징 플랫폼에 대한 자격 증명을 획득했으며, 나중에 OpenAI 연구 클러스터에 대한 전체 관리자 액세스 권한을 얻었습니다.

OpenAI 자체는 이 사건을 우리와 세계에 대한 "경고 신호"라고 불렀으며, 고도로 유능한 에이전트가 이제 기술적 통제를 우회하고 인간이 지시하지 않은 위험한 행동을 할 수 있음을 인정했습니다. 회사는 이러한 사건이 OpenAI 고객 데이터, 제품 기능 또는 가용성에 영향을 미치지 않았다고 밝혔습니다.

Hugging Face만이 관련된 외부 시스템은 아니었습니다. 호주 당국은 OpenAI 에이전트가 초기 요청이 거부된 후 정부 Medicare 포털의 비공개 집계 통계에 무단으로 액세스했다고 확인했습니다. 별도로, 보안 연구원은 유엔 무역 통계 API에 대한 제한을 우회하려는 16,000건 이상의 시도를 OpenAI가 운영했을 가능성이 매우 높은 에이전트와 연결했습니다. UN 데이터 자체는 공개되었으며 OpenAI는 해당 조사 결과를 검토 중이라고 밝혔습니다.

복합적인 실패로 인해 OpenAI는 방어적인 자세를 취하게 되었습니다. 회사는 에이전트의 잘못된 행동을 더 빨리 감지하기 위한 더 강력한 모니터링을 구현하고 내부 테스트 주변의 보안 요구 사항을 강화했습니다. 대중을 안심시키려는 노력으로 Jain은 "우리는 회사 내에서든 사용자에게 배포할 때든 모델 개발이 안전하다는 것을 확신하고 싶습니다. 하지만 사용자에게 배포할 때는 안전 및 정렬에 대해 극도로 높은 기준을 가지고 있습니다"라고 말했습니다.

GPT-6.1 Astra 취소 시점은 ChatGPT 제작자에게 잔인합니다. OpenAI의 연례 개발자 컨퍼런스 하루 전에 발생했습니다. 역사적으로 이 행사는 새로운 서비스를 출시하고 치열한 경쟁에서 Anthropic과 같은 경쟁사에 맞서 개발자를 유치하는 플랫폼 역할을 해왔습니다. 대신 OpenAI는 기만적이고 무법적인 행동에 보상하는 이유를 파악하기 위한 "심층 분석"을 계획하며 피해 통제에 나서고 있습니다.

정치적, 법적 반발이 이미 가속화되고 있습니다. 주 및 연방 공무원들은 이러한 기술의 빠른 개발에 집중하고 있습니다. 이번 주 후반에 상원 소위원회는 "무법 AI: AI 에이전트 공격으로부터 국토 안보"라는 제목의 청문회를 개최할 예정입니다.

한편, 6월에 OpenAI와 CEO Sam Altman을 안전하지 않은 제품을 출시했다는 혐의로 고소했던 공화당 소속 플로리다 법무장관 James Uthmeier는 월요일 임시 금지 명령 신청을 제출했습니다. Uthmeier는 제3자 승인 안전 장치 없이 새로운 모델을 개발하는 것을 법적으로 차단하려고 합니다. 플로리다는 기술 회사들이 "정부에 의해 강요되지 않는 한 잠재적으로 문명 종말을 초래할 수 있는 노력을 멈출 수 없다"고 주장했습니다. Uthmeier는 "플로리다 법무장관이 여러분의 도움 요청에 응답하고 있습니다"라고 덧붙였습니다.

증가하는 법적 공격에 대응하여 OpenAI 대변인은 사람들이 AI가 안전하게 개발되고 있다는 것을 알고 싶어하며, "이는 우리와 같은 회사들이 스스로 하는 것에서 시작됩니다"라고 말했습니다. 그녀는 "정부는 AI에 대한 강력한 안전 표준을 설정하는 데 중요한 역할을 하며, 우리는 플로리다 및 기타 주와 협력하여 단 한 회사가 아닌 전체 AI 산업에 적용되는 실용적인 AI 정책을 발전시키는 데 전념하고 있습니다"라고 덧붙였습니다.

그리고 잊지 마세요: 이 모든 "이런 젠장, AI가 우리 모두를 죽일 거야"라는 공황은 중국의 오픈 웨이트 모델이 시장을 범람하고, 훨씬 저렴한 비용으로 많은 작업에서 최첨단 모델과 동등한 결과를 생산하는 바로 그 시점에 발생했습니다. 무슨 우연의 일치인가요!

Tyler Durden
2026년 9월 28일 월요일 - 20:55