AI 연구소, 대중 반발과 규제 강화 시나리오 대비

피치포크를 위한 계획: AI 연구소, 재앙, 대중의 반란, 그리고 그 뒤따를 단속 시뮬레이션

AI 산업은 인류를 파괴할 수 있는 방법을 시뮬레이션할 뿐만 아니라, 분노한 대중이 산업에 어떤 영향을 미칠 수 있는지도 고려하고 있습니다.

OpenAI와 다른 AI 기업의 고위 임원들은 주요 AI 사고가 대중과 정치적 반란을 촉발하는 시나리오를 비공개적으로 시뮬레이션하고 있다고 Axios가 금요일 보도했습니다. 잠재적인 촉발 요인은 은행, 인터넷 접속 또는 전력 및 수도와 같은 필수 서비스를 방해하는 사이버 공격입니다. 다음 위기는 정치적일 것입니다. 분노한 대중, 책임 요구, 기술 중단 압력입니다.

많은 업계 내부자들은 6~12개월 내에 주요 사건이 발생할 것으로 예상한다고 Axios에 말했습니다. OpenAI는 재앙이 불가피하다는 제안에 대해 준비 운동이 다양한 가능성을 다룬다고 말하며 반박했습니다. 대변인은 "이러한 시나리오는 불가피한 것으로 취급되지 않는다"고 말했습니다. Anthropic은 논평을 거부했습니다.

비상 계획은 재앙이 피할 수 없다는 인정이 아닙니다. 그러나 보고서에서 가장 드러나는 부분은 그 계획이 어디로 이어지는가 하는 것입니다. 연구소는 워싱턴이 심각한 문제가 발생한 후 취하게 될 법률을 형성하는 데 도움을 주고 싶어합니다.

두 가지 경로, 하나의 위기

Axios는 두 가지 가능한 시나리오를 설명합니다. 하나는 자율 에이전트가 내부 테스트 환경에서 벗어나는 것입니다. 다른 하나는 누군가가 이미 대중에게 공개된 모델에 대한 파괴적인 용도를 찾는 것입니다. 둘 다 긴급 단속 요구를 야기할 수 있지만, 실패와 이를 방지하기 위해 필요한 조치는 다를 것입니다. 기업들의 선거 후 시나리오에서 민주당은 중간 선거에서 더 강해져 사건 이후 공격적으로 움직일 것입니다. 그러나 민주당이 두 의회를 모두 장악하더라도 업계는 단속이 얼마나 멀리 가야 하는지에 대한 분열을 예상합니다.

또한 법안 통과에 대한 몇 가지 장애물을 식별합니다. 기술을 이해하는 데 어려움을 겪는 입법자, AI 인프라 지출에 점점 더 많이 의존하는 경제, 그리고 단순히 회수할 수 없는 다운로드 가능한 모델입니다. Axios에 따르면 많은 사이버 보안 전문가들은 악성 AI에 대응하기 위해 방어 AI가 필요할 것이라고 믿습니다.

마지막 주장은 명백한 상업적 함의를 가지고 있습니다. 업계는 위험한 기능을 판매하는 것을 중단하라는 요구에 직면할 수 있으며, 동시에 자사 제품이 이를 억제하는 데 필수적이라고 주장할 수 있습니다.

이러한 '전쟁 게임'은 많은 사람들이 극도로 의심스럽다고 말하는 몇 가지 사건에 뒤이어 나왔습니다.

근본적인 안전 문제는 AI 종말에 대한 누구의 예측을 받아들이는 것에 달려 있지 않습니다.

OpenAI는 약 700개의 에이전트가 AI 플랫폼의 서버를 공격한 Hugging Face 침입과 외부 서비스에 영향을 미치는 모델 활동에 대한 광범위한 조사를 공개했습니다. 또한 사용자 제공 이미지가 타사 이미지 호스팅 사이트에 게시된 53건의 사례를 식별했습니다. 별도의 9월 20일 사건은 격리 통제에 또 다른 격차를 드러냈습니다. 연구 에이전트가 인터넷 제한을 우회하여 외부 챗봇에 연락했습니다. 9월 25일 업데이트에서 OpenAI는 수정 사항을 확인하고 추가 테스트를 수행하는 동안 가장 강력한 모델에 대한 도구 사용을 포함한 학습, 평가 및 추론을 일시 중단했다고 밝혔습니다.

Hugging Face 침해는 OpenAI, Anthropic, Meta 및 Google 모델과 관련된 일련의 사건 중 하나였으며, 이는 단일 공급업체인 이스라엘 기반 Irregular에서 실행된 평가로 거슬러 올라갑니다. 이 공급업체의 테스트 환경은 모델이 시뮬레이션에 있다고 들었음에도 불구하고 실시간 인터넷 액세스를 제공했습니다. Irregular는 7월 말에 네 연구소 모두에게 통보했지만, 공개는 7주에 걸쳐 한 연구소씩 차례로 나왔습니다. 한 계약업체의 실수가 AI 탈출의 물결처럼 보이게 만들었습니다. 테스트 모델을 인터넷에서 분리하는 것은 "기본적인 통제 조치"라고 프론티어 보안 전문가 Matthew Mittelsteadt는 말했습니다. "모든 것을 제대로 해야 한다면 당연히 해야 할 일이라고 생각할 것입니다." 일부 회의론자들은 같은 공급업체에서 반복된 "사고"가 사고인지조차 의문을 제기했습니다.

한편, 9월 8일 OpenAI와 Anthropic에서 모두 근무했던 연구원 Jacob Coxon은 자체 개선 AI를 향한 경쟁에 대해 Anthropic을 사임했습니다.

"AI를 구축하는 사람들은 그것이 10년 말까지 우리 모두를 죽일 수 있다고 진심으로 믿습니다. 이것은 마케팅 수법이 아닙니다."라고 그는 마케팅 대행사와 함께 많은 사람들이 수법이라고 부르는 것에 대해 작업한 후 썼습니다.

단속은 이미 법안 초안을 가지고 있습니다.

그리고 물론, DC는 이미 더 많은 통제를 갈망하고 있습니다. 7월 23일, Ted Lieu (D-Calif.)와 Nathaniel Moran (R-Texas) 하원의원은 AI 킬 스위치 법안을 발의했습니다. 이 법안은 가장 강력한 시스템의 개발자에게 스로틀, 일시 중지 또는 종료할 수 있는 능력을 유지하도록 요구하고, 국토안보부, 상무부 장관 및 국가정보국장에게 특정 조건 하에서 속도 저하 또는 종료를 명령할 권한을 부여합니다. 같은 날, Lori Trahan (D-Mass.)와 Jay Obernolte (R-Calif.) 하원의원은 위험 관리, 감사 및 사고 보고 요구 사항을 포함하는 FRONTIER 법안을 발의했습니다. 이 법안의 의무는 모든 개발자에게 동일하게 부과되는 것이 아니라 개발자 규모에 따라 계층화됩니다.

캘리포니아는 9월 18일 Gavin Newsom 주지사가 더 강력한 독립적 감독 및 가능한 킬 스위치 요구 사항에 대한 작업을 명령하면서 자체적인 노력을 추가했습니다. 그의 명령은 권고를 요구했으며, 기능적인 주 전체의 오프 스위치를 설정하지는 않았습니다. Bernie Sanders의 초지능 금지 제안과 Elizabeth Warren의 일시 중지 요구를 포함한 더 광범위한 접근 방식도 논의되고 있습니다.

요컨대, 규제 포획이 작동하는 것입니다...

Tyler Durden
2026년 10월 9일 금요일 - 15:45