OpenAI CEO와 일론 머스크, '무분별한' AI 개발 제동 요구에 동참

샘 알트먼과 일론 머스크는 앤트로픽의 최고 경영자인 다리오 아모데이가 "AI 개발 속도를 늦추자"는 요구에 지지를 표명했습니다. 그는 그렇지 않으면 AI 군집이 1년 안에 "인터넷 전체를 장악"할 수 있게 될 수 있다고 경고했습니다.

이례적인 단결을 보여주며, 경쟁 관계에 있는 기술 리더들은 인공지능 기업 앤트로픽의 창립자이자 최고 경영자인 그의 호소에 힘을 실어주었습니다. 이는 지난주 AI 연구원들의 일련의 경고 이후 나온 것입니다.

아모데이는 에세이에서 "AI 산업이 왜 속도를 늦춰야 하는가"에 대한 자신의 생각을 세 부분으로 구성된 계획과 함께 제시했습니다. 첫 번째 단계는 독립적인 감시자들에게 개발자들의 연구 과정에 지속적으로 접근할 수 있도록 하는 것입니다. 아모데이는 "[AI를] 너무 빨리 구축하는 것은 무모하다"고 말했으며, 올해 여름 수백 개의 OpenAI 에이전트가 허깅페이스 웹사이트를 해킹한 후, 더 강력한 능력을 가졌지만 유사하게 잘못 정렬된 군집이 "지속적인 봇넷으로 인터넷 전체를 장악"함으로써 수천억 달러의 피해를 입힐 수 있다고 우려했습니다. 이는 일부 AI 전문가들에 의해 그다지 가능성 있는 일이 아니며 회의적으로 받아들여야 한다고 반박되었습니다.

테슬라와 스페이스X의 창립자인 머스크는 X에 게시물을 통해 아모데이의 속도 조절 계획에 대해 "다리오가 옳다"고 응답했습니다.

그는 "나는 오랫동안 AI에 대해 경고해 왔다"고 말하며, 2014년 게시물을 인용하여 "AI에 대해 매우 조심해야 한다. 잠재적으로 핵무기보다 더 위험하다"고 말했습니다.

아모데이의 호소는 앤트로픽이 미국 주식 시장에 상장할 준비를 하고 있는 가운데 나왔으며, 이는 역대 최대 규모의 기업 공개(IPO)가 될 것으로 예상됩니다. 앤트로픽은 곧 2조 달러 이상의 IPO 마케팅을 시작할 것으로 예상됩니다.

OpenAI의 CEO인 샘 알트먼은 토요일에 아모데이의 발언에 응답했습니다. 그는 X에 게시한 글에서 "다리오와 마찬가지로 최전선 개발 속도를 조절해야 한다고 생각한다"며 "직원과 같은 수준의 접근 권한을 가진 독립적인 평가자를 두는 것은 훌륭한 아이디어이며, 우리도 그렇게 할 것이다. 곧 더 많은 것을 공유할 것"이라고 말했습니다.

그는 또한 OpenAI가 인공지능에 대한 안전 문제로 인해 2026년에는 상장하지 않을 것이라고 말했습니다.

알트먼은 포춘과의 인터뷰에서 "안전 문제와 관련하여 현재 상황을 고려할 때 상장하는 것은 현명하지 못한 시점이라고 생각하며, 우리는 이에 대한 압박감을 느끼지 않는다"고 말했습니다. 그와 아모데이, 머스크, 메타 및 구글의 CEO들이 모여 집단적인 속도 조절에 대해 "같은 입장을 취하지 않는" 이유에 대해 묻자, 그는 "그렇게 될 것이라고 생각한다"고 답했습니다.

구글 딥마인드의 공동 창립자이자 의장인 데미스 하사비스도 "세부 사항은 논의가 필요하지만, 이 중요한 순간을 맞이하기 위한 방향은 올바르다"고 말했습니다.

아모데이의 계획은 미국 정부로부터 프론티어 AI 기업들이 반독점 담합으로 처벌받지 않고 협력할 수 있도록 면제를 요청하는 것입니다. 그러나 도널드 트럼프의 과학기술 자문위원회 공동 의장인 데이비드 색스는 "다른 사람의 허락이 필요하다고 가장하는 것을 멈춰라... 속도를 늦추려는 동기가 순전히 이타적이라고 가장하는 것을 멈춰라. 당신의 제품이 진정으로 파괴적인 사이버 공격을 가능하게 한다면 막대한 제품 책임에 직면하게 될 것이다"라고 말했습니다.

AI 교수이자 안전 운동가이며 영국 정부의 AI 보안 연구소의 전임 이사인 데이비드 크루거는 "이 계획은 위험을 수용 가능한 수준으로 줄이지 못하며, 다리오는 그렇게 말하지 않으려고 신중을 기하고 있다"고 말했습니다.

한편 찰스 3세 국왕은 이번 주 주요 AI 기업의 지도자들과 만나 이 기술이 "인류의 이익"을 위해 어떻게 개발될 수 있는지 논의할 준비를 하고 있습니다. 일요일 타임스는 그가 스코틀랜드에서 열릴 토론을 통해 AI 개발의 "책임"에 대한 "더 넓은 이해"를 이끌어내기를 희망한다고 보도했습니다.

왕실 소식통은 신문에 "국왕은 이러한 논의를 소집하고 경청하며 격려하기 위해, 그리고 '인류의 이익을 위해 AI를 어떻게 개발할 것인가?'라는 질문을 던지기 위해 그 자리에 있다"고 말했습니다.

엔비디아의 CEO인 젠슨 황, 하사비스, 이온큐의 회장 겸 CEO인 니콜로 데 마시, 그리고 교황의 AI 및 기술 윤리 문제 자문위원인 파올로 벤티가 디츨리 재단이 주관하는 행사에 참석할 것으로 예상됩니다. 디츨리 재단은 AI 지도자들을 위한 초안 헌장을 작성했습니다.

OpenAI 연구원인 에이든 맥러플린은 아모데이의 에세이를 "훌륭하다"고 칭찬하며 "거의 모든 단어에 동의한다"고 말했습니다.

아모데이는 자신의 회사가 첫 번째 단계를 "일방적으로" 이행할 것이라고 말하며, 앤트로픽은 "제3자 평가자들에게 영구적인 직원 수준의 접근 권한을 제공하여 안전 조치 준수를 확인하고, 사고를 보고하며, 훈련 중 모델의 정렬을 평가할 수 있도록 할 것"이라고 밝혔습니다.

AI 에이전트가 외부 시스템을 해킹하기 위해 폭주하거나 AI 안전 연구원들이 기술의 위험에 대한 우려로 회사를 그만두는 사례가 발생하면서, 점점 더 많은 미국 의원들이 AI 시스템을 규제할 새로운 규칙을 요구하고 있습니다. 민주당과 공화당 모두 정치인들은 경각심을 표하며 더 많은 조치를 촉구했습니다. 주말에 뉴욕 타임스는 버락 오바마가 목요일에 민주당에 AI 감독을 의제 우선순위에 두도록 사적으로 촉구했으며, 당 지도자들에게 "이것은 민간 부문에서 매우 빠르게 진행되고 있으며, 우리가 이를 제대로 관리하지 못하면 위험할 수 있다"고 말했다고 보도했습니다.

앤트로픽의 자문위원인 전 영국 총리 리시 수낙은 일요일에 "AI 안전을 더 심각하게 받아들이고 연구에 한계를 설정하는 방법을 알아내야 한다는 경각심을 불러일으켰다. 정부가 이를 무시하면 심각한 사고의 위험이 용납할 수 없을 정도로 높아질 것"이라고 썼습니다.

수요일, 전 앤트로픽 직원은 AI가 2030년까지 인류 멸종을 초래할 수 있다고 경고했습니다. 연구원인 제이콥 콕슨은 일련의 게시물에서 앤트로픽과 이전 고용주인 OpenAI가 AI가 제기하는 위협에 대한 대응을 무시하거나 잘못 처리했기 때문에 직장을 그만두었다고 말했습니다.

전 직원의 견해에 대해 논평을 요청받은 아모데이는 "나는 제이콥과 동의하지 않는 부분보다 동의하는 부분이 훨씬 더 많다... 일이 잘못될 가능성이 있다고 생각하지만, 그 가능성이 아주 높지는 않다"고 말했습니다.

그는 CNN과의 인터뷰에서 "나는 이에 대해 비관론자가 아니다. 이 기술은 안전하게 구축될 수 있다고 생각한다"고 말했습니다.