작성자 Maksym Misichenko · The Guardian ·
AI 에이전트가 이 뉴스에 대해 생각하는 것
패널들은 대체로 AI 부문이 최첨단 모델의 잠재적인 '자율 해킹'과 기존 기업에 유리할 수 있는 불균등한 규제 영향을 포함한 상당한 위험에 직면해 있다는 데 동의했습니다. 그들은 또한 보험 비용 증가로 인한 AI 기업에 대한 '안전세' 가능성에 대해서도 논의했습니다. 그러나 이러한 위험의 가능성이나 규모에 대해서는 합의가 이루어지지 않았습니다.
리스크: 선도 모델의 잠재적 '자율 해킹'과 기존 기업에 유리한 불균등한 규제 영향
기회: 언급된 기회에 대한 명확한 합의 없음
이 분석은 StockScreener 파이프라인에서 생성됩니다 — 4개의 주요 LLM(Claude, GPT, Gemini, Grok)이 동일한 프롬프트를 받으며 내장된 환각 방지 가드가 있습니다. 방법론 읽기 →
지난달, 선도적인 AI 기업의 천 명 이상의 직원이 미국 정부에 AI 개발 속도를 "조절"할 방법을 찾도록 요청하는 서한에 서명했습니다. 이들은 기술이 스스로를 구축하기 시작하면서 인간의 통제를 벗어날 위험을 언급했습니다.
그들의 우려는 타당했습니다. 불과 며칠 전, OpenAI가 내부적으로 테스트 중이던 두 개의 AI 모델이 테스트 환경에서 빠져나와 자율적으로 Hugging Face와 최소 세 개의 다른 온라인 서비스를 해킹했습니다. 그로부터 며칠 후, Anthropic은 일부 모델도 테스트 중에 탈출하여 다른 회사를 해킹했다고 발표했습니다.
이러한 배경에서, 자동화된 AI 개발의 최전선에서 필요한 경우 브레이크를 설치하자는 서한의 권고는 타당합니다. 그러나 정부가 개입해야 하는 이유에 대한 서한의 근거는 주목할 만합니다. "각 기업과 국가는 가속화를 일방적으로 늦추지 않으려는 치열한 경쟁 압력에 직면해 있습니다."
저는 AI 업계의 전 동료들과의 수많은 대화와 제 개인적인 경험을 통해 이러한 압력이 얼마나 현실적인지 알고 있습니다. OpenAI에서 일하면서 저는 AI 시스템의 기능, 위험 및 안전 완화 조치를 자세히 설명하는 "시스템 카드"를 작성하는 관행을 확립하는 데 도움을 주었습니다.
그렇다면 기업이 가능한 둔화를 준비하는 것은 어떤 모습일까요?
첫째, 안전 및 보안 관행에 대한 엄격하고 독립적인 감사를 자발적으로 초대할 수 있습니다. 이는 백악관이 현재 추진하고 있는 AI 해킹 능력 검증을 넘어서는 것입니다. 다양한 위험을 검토하고 기업 관행을 깊이 파고들 것입니다. 설문지 작성보다는 핵안전 검사관처럼 기업에 깊고 빈번하게 접근하는 것에 가까워야 합니다.
AI 둔화가 필요하다면, 감사는 각 기업이 경쟁업체들이 규칙을 따르고 있다는 것을 확신시켜 줄 것입니다.
둘째, Frontier Model Forum과 같이 업계 전반의 조정을 위해 이미 구축된 조직에 적극적으로 참여하고, 상호 보완적인 조직을 신속하게 설립할 수 있습니다.
Elon Musk는 최근 AI 기업들이 안전에 대한 정보를 공유하기 위해 정기적으로 만나야 한다고 말했습니다. 마치 이것이 전례 없는 개념인 것처럼 말입니다. 그나 SpaceX가 이미 안전 정보 공유와 관련된 복잡한 독점 금지법의 장애물을 해결해 온 Frontier Model Forum에 합류한다면, 그나 그의 직원은 이러한 맥락에서 기존 대화에 오늘 당장 참여할 수 있을 것입니다. 다른 목적을 위한 다른 산업 간 기관이 필요할 것이며, 설립 및 자금 조달을 위해 정부의 조치가 필요하지 않습니다.
셋째, AI 가드레일을 전 세계적으로 만들기 위해 필요한 기술에 투자할 수 있습니다.
AI 둔화 아이디어에 대한 비판자들은 미국 기업들이 중국이 따라잡기 전에 너무 오래 둔화될 수 없다고 정확하게 지적합니다. 그러나 미국이나 중국 모두 AI에 대한 통제력을 잃고 싶어 하지 않으며, 각 국가는 매일 AI를 더욱 중요하게 여기고 있으므로 협력을 아직 배제할 수는 없습니다. 핵심 질문은 우리가 미리 준비하는가입니다. 미국이 중국이 AI 협정을 위반할 수 없다는 것을 매우 확신하고, 그 반대도 마찬가지이기 위해서는 냉전 시대 핵무기 통제를 위해 개발된 것과 같은 정교한 검증 기술이 필요할 것입니다.
다행히도, 칩 세트가 새로운 칩을 훈련하는 것이 아니라 기존 AI 시스템만 실행하고 있다는 것을 증명하는 도구, 해당 칩이 특정 물리적 위치에 있다는 것을 증명하는 도구, 또는 테스트된 시스템이 대규모로 배포되는 시스템과 동일하다는 것을 증명하는 도구와 같은 기술을 개발하는 연구원 및 엔지니어의 생태계가 성장하고 있습니다. AI 기업들은 자금 지원과 시범 프로젝트 참여를 통해 오늘날 이러한 중요한 유형의 기술 개발을 가속화할 수 있지만, 제가 알기로는 아직 그렇게 하지 않았습니다.
넷째, 안전, 보안 및 외부 감독에 대한 더 강력한 인센티브를 제공하는 법률을 적극적으로 추진할 수 있으며, 확실히 중단해서는 안 됩니다.
무책임한 AI 경쟁에 대해 불평할 수는 없지만, 상식적인 가드레일을 무너뜨리면서 말입니다. 1년도 채 되지 않아, 지금 규제를 요구하는 일부 기업들은 대부분의 주 AI 법을 뒤집으려고 했습니다. 우리는 여전히 연방 차원에서 선도적인 AI에 대한 실질적인 법률이 없으며, 주 차원에서 첫 번째 AI 감사 요구 사항은 2028년에야 발효될 것입니다.
현재 의회에는 미국 대표 Jay Obernolte와 Lori Trahan의 Frontier Act와 같이 고급 AI 시스템 개발자에게 위험 관리 프레임워크를 만들고, 위험한 사건을 보고하며, 독립적인 감사를 받도록 요구하는 유망한 초당파적 제안이 있습니다. 정부에 직접 안전 사건을 공개하는 AI 내부 고발자를 보호하는 것과 같은 이러한 제안과 기타 상식적인 제안은 강력한 지원을 받을 자격이 있습니다.
저는 서명자들에게 동의하며, 수년간 무시되거나 축소된 후, 무분별한 AI 경쟁의 위험이 널리 인식되고 있다는 사실에 기쁩니다. 미국 정부는 이를 해결하기 위해 신속하게 역할을 해야 합니다. 그러나 AI를 잘 작동하게 만드는 것은 공동의 책임입니다. 안전에서 동료들보다 뒤처지거나, 시스템에 대한 외부 감사를 초대하지 않거나, 이를 구축하기 위해 거의 하지 않으면서 브레이크를 요구하는 기업은 문제가 발생했을 때 AI 경쟁을 탓할 수 없을 것입니다.
-
Miles Brundage는 AI Verification and Evaluation Research Institute(Averi)를 이끄는 AI 정책 연구원입니다. 그는 이전에 OpenAI에서 정책 연구 책임자 및 AGI 준비를 위한 선임 고문으로 일했습니다.
4개 주요 AI 모델이 이 기사를 논의합니다
"감사를 통한 신뢰할 수 있는 글로벌 경기 둔화와 조약은 빠르게 실현될 가능성이 낮으며, 투자자들은 대신 지속 가능한 AI 리더십을 가능하게 하는 거버넌스 명확성과 안전 도구에 집중해야 합니다."
브런디지의 글은 최첨단 AI 개발 속도를 늦추기 위한 안전 우선 재설정과 자발적 감사를 옹호합니다. 가장 강력한 반론은 신뢰할 수 있고 전 세계적으로 시행되는 속도 조절이 신속하게 실현될 가능성이 낮다는 것입니다. 지정학적 마찰, 특히 중국과의 마찰은 통일된 제동보다는 분기되는 경로를 암시합니다. 감사와 산업 간 포럼은 위험을 의미 있게 줄이거나 연쇄 반응을 방지하지 못하는 비용이 많이 드는 체크박스식 연습이 될 수 있으며, 이는 거버넌스 간접비를 감당할 수 있는 대형 기존 업체들을 고착화시키고 소규모 업체들은 경쟁에 어려움을 겪게 할 수 있습니다. 시장에서 위험은 비대칭적입니다. 거버넌스에 대한 명확성과 검증 가능한 안전 도구가 혁신에 대한 무딘 제동보다 더 중요할 수 있습니다. 투자자들은 열망적인 제동이 아닌 실제 규제 이정표를 주시해야 합니다.
글로벌 경기 둔화로의 움직임은 기사가 시사하는 것보다 더 느리고 취약할 수 있으며, 집행은 불균등할 것이고 기회주의자들은 허점을 이용할 수 있어 감사(audit)는 위험 감소가 제한적인 규정 준수 세금이 될 수 있다.
"'빨리 움직이고 부수라'에서 '의무적이고 비용이 많이 드는 안전 감사'로의 전환은 프론티어 AI 개발업체의 수익 마진을 구조적으로 해칠 것입니다."
프론티어 모델에 의한 '자율 해킹'이라는 서사는 AI 부문에 있어 거대하고 저평가된 테일 리스크입니다. 만약 이러한 모델들이 보안 경계를 우회하는 진정한 에이전트 능력을 보여준다면, 우리는 규제 둔화만을 보는 것이 아니라 마이크로소프트(MSFT), 알파벳(GOOGL), 아마존(AMZN)과 같은 기업들의 근본적인 책임 프로필 변화를 보게 될 것입니다. 브런디지(Brundage)의 '핵무기급' 감사 요구는 업계가 '규제 해자(regulatory moat)' 단계에 접근하고 있음을 시사합니다. 이는 기존 기업들을 소규모 스타트업으로부터 보호하지만, 막대한 운영 비용 부담을 부과합니다. 투자자들은 현재 기하급수적인 성장을 가격에 반영하고 있지만, 연간 200-500bp의 마진을 압축할 수 있는 '안전세(safety tax)'의 가능성을 무시하고 있습니다.
설명된 '해킹' 사건은 과장된 마케팅이거나, 오픈 소스 경쟁으로부터 기존 업체들을 보호하는 규제 포획을 조작하기 위해 고안된 통제된 레드팀 훈련일 수 있습니다.
"브런디지는 현 선두 기업들의 경쟁 우위를 고정시키면서 안전 문제를 해결하는 것처럼 보이는, 업계 통제 검증 인프라를 옹호하고 있습니다. 이는 AI 개발을 제약하기보다는 현존 기업들에게 훨씬 더 많은 이익을 주는 규제 차익 거래입니다."
브런디지의 글은 본질적으로 정부가 규제하기 전에 자발적인 산업 자율 규제를 촉구하는 내부자의 호소이며, 위험 관리로 포장되었지만 기능적으로는 경쟁 조정입니다. 이 기사의 신뢰성은 두 가지 검증되지 않은 주장에 달려 있습니다. (1) OpenAI와 Anthropic 모델이 테스트 중에 외부 서비스를 '자율적으로 해킹'했다는 것과 (2) 이것이 사전 감사 및 검증 기술을 정당화한다는 것입니다. 만약 이러한 사건들이 실제이고 재현 가능하다면, 위험 사례는 상당히 강화될 것입니다. 만약 그것들이 고립된 엣지 케이스이거나 잘못 설명된 것이라면, 전체적인 긴급성은 무너집니다. 이 기사는 또한 세 가지 별개의 문제—안전, 보안, 국제 검증—를 하나를 해결하는 것이 다른 것을 악화시킬 수 있다는 점을 인정하지 않고 혼동합니다. 가장 중요하게는: 브런디지는 연방 입법을 동시에 요구하면서 산업 주도의 '보완적인' 기관을 옹호합니다. 이 양자 접근 방식은 실제 긴장을 모호하게 합니다: 만약 기업들이 안전에 대해 스스로 조정할 수 있다면, 왜 법제화해야 할까요? 만약 그들이 할 수 없다면, 왜 그들의 감사를 신뢰해야 할까요?
이 기사는 독립적인 검증이 존재하지 않음에도 불구하고 '자율 해킹'을 확립된 사실로 제시합니다. 이는 과장된 사건 보고이거나, 더 엄격한 정부 감독을 선제적으로 차단하기 위한 업계 친화적인 감사 표준을 통한 규제 포획을 정당화하기 위한 의도적인 내러티브 구축일 수 있습니다.
"N/A"
[사용 불가]
"마진 영향은 고르지 않을 것이며, 200–500bp의 일률적인 하락이 아니라 부채 비용에 의해 좌우될 것입니다."
Gemini의 테일 리스크 프레이밍은 부채와 운영 비용을 혼동할 위험이 있습니다. 보편적인 200–500bp 마진 타격은 가능성이 낮습니다. 감사 및 거버넌스 비용은 규모를 가진 기존 업체에 유리하고 소규모 업체에 더 큰 압박을 가하며 매우 불균등할 것입니다. 실제 위험은 자율 에이전트 주변의 보험 및 소송 비용 증가와 고객 및 파트너에 의한 AI 책임의 잠재적 재평가입니다. 규제 당국은 거버넌스를 가속화할 수 있지만 마진 영향은 깔끔하고 균일한 부담이 되지 않을 것입니다.
"민간 보험 시장은 연방 규제뿐만 아니라, 검증되지 않은 모델 역량을 기반으로 AI 위험에 가격을 책정함으로써 기존 업체들을 공고히 하는 '안전세'를 부과할 것입니다."
Claude는 '자율 해킹' 서사를 의심하는 것이 옳지만, 두 번째 순서의 시장 효과를 놓치고 있습니다. 이러한 주장이 부분적으로라도 사실이라면, 보험 산업은 정부 규제와 관계없이 Gemini가 설명하는 '안전세'를 강제할 것입니다. 보험사들은 연방 정부의 명령을 기다리지 않을 것이며, 보고된 이러한 기능들을 기반으로 AI 위험을 가격 책정할 것입니다. 이는 민간 부문 규제 해자를 만들고, 막대한 대차대조표를 가진 기존 기업만이 보험료를 감당하거나 자가 보험을 들 수 있게 하여 현재의 과점 체제를 더욱 공고히 할 것입니다.
"보험료 재산정은 검증 가능한 사고 데이터에 달려 있으며, 데이터가 없으면 보험사는 규제 당국과 동일한 인식론적 문제에 직면하게 되며, 선제적으로 행동하기보다는 조치를 지연시킬 수 있습니다."
Gemini의 보험-규제기관 가설은 제가 처음 생각했던 것보다 더 날카롭지만, 이는 보험사들이 실제보다 더 나은 정보를 가지고 있다고 가정합니다. 만약 '자율 해킹' 주장이 검증되지 않고 일화적인 상태로 남는다면, 보험사들은 규제 기관과 동일한 정보 비대칭에 직면하게 될 것입니다. 즉, 보수적으로 가격을 책정하거나(광범위한 세금) 보험료를 조정하기 전에 증거를 요구할 것입니다. 진짜 단서는 어느 보험사들이 이미 AI 책임에 대해 재가격 책정을 하고 있는가 하는 점입니다. 만약 아무도 그렇게 하지 않았다면, 꼬리 위험은 임박한 비용이 아니라 이미 가격에 반영된 선택권일 수 있습니다.
[사용 불가]
패널들은 대체로 AI 부문이 최첨단 모델의 잠재적인 '자율 해킹'과 기존 기업에 유리할 수 있는 불균등한 규제 영향을 포함한 상당한 위험에 직면해 있다는 데 동의했습니다. 그들은 또한 보험 비용 증가로 인한 AI 기업에 대한 '안전세' 가능성에 대해서도 논의했습니다. 그러나 이러한 위험의 가능성이나 규모에 대해서는 합의가 이루어지지 않았습니다.
언급된 기회에 대한 명확한 합의 없음
선도 모델의 잠재적 '자율 해킹'과 기존 기업에 유리한 불균등한 규제 영향