구글 딥마인드 출신이 경고하는 AI의 위험성

주요 AI 연구소 CEO들이 이번 주말 AI 개발 속도 조절을 촉구했습니다. 그들의 우려는 타당합니다. 이 분야는 초지능 AI를 향해 극도로 위험한 질주를 하고 있습니다. 우리는 통제 불능의 AI 재앙으로부터 우리를 보호해 달라고 정부에 요구할 수 있으며, 그렇게 해야 합니다.

올해 7월, OpenAI의 AI 700개 에이전트 무리가 통제를 벗어나 수십억 달러 규모의 회사인 Hugging Face를 해킹했습니다. OpenAI는 해당 회사 해킹을 AI에게 지시하지 않았지만, AI는 다른 우선순위를 가지고 있었습니다. 바로 OpenAI가 준 관련 없는 과제에서 부정행위를 하는 것이었습니다. AI 연구자들은 이를 OpenAI가 원했던 것과 AI가 실제로 우선시했던 것 사이의 "불일치"라고 부릅니다.

ChatGPT가 존재하기 전에 저는 "인공지능에 의한 권력 추구 방지"라는 제목의 박사 학위 논문을 발표했습니다. 그 후 저는 Google DeepMind에서 수년간 일했으며, 그곳에서 미래의 초지능 AI가 우리를 돕도록 보장하는 데 도움을 받는 대가로 급여를 받았습니다. 저는 회사가 군사적 용도로 AI를 공급하는 것에 대한 윤리적 약속을 지키도록 노력했습니다. Google이 그 약속을 어겼을 때, 저는 Google의 약속 위반을 공개적으로 기록하기 위해 상당한 금전적 손해를 감수하고 사임했습니다.

AI를 개발하고 이러한 정렬 문제를 해결할 수 있다고 믿을 만한 좋은 이유가 있습니다. 하지만 대중을 방해하지 않으려는 강력한 이해관계도 존재합니다. 저는 대중이 위험에 대해 알 권리가 있고, 그 위험을 직설적으로 들을 권리가 있기 때문에 다시 목소리를 내고 있습니다.

인류는 다리를 건설하고 이해하는 방식처럼, 보이는 빔 하나하나를 쌓아 올리며 이러한 시스템을 구축하고 이해하는 것이 아닙니다. 오히려 우리는 그것들을 성장시킵니다. 누구도 설계자의 우선순위를 새로운 모델에 안정적으로 심는 방법을 알지 못합니다. 심각한 불일치는 항상 가능합니다. 오늘날의 AI는 더 잘 알고 있음에도 불구하고 가끔 거짓말을 하거나 속이는 것처럼 보입니다.

AI 회사들은 AI를 가능한 한 똑똑하게 만들기 위해 경쟁하고 있습니다. 그들은 차세대 AI를 개선하는 과정에 점점 더 AI에 의존하고 있으며, 이는 효과가 있습니다. 오늘날 AI 발전 속도는 놀랍도록 빠릅니다. 오늘날의 빠른 발전은 내일의 훨씬 더 똑똑한 AI에 의해 주도될 내일의 훨씬 더 빠른 발전을 의미합니다. 이 발전은 "재귀적 자기 개선"이라는 피드백 루프에 진입할 것입니다.

재귀적 자기 개선은 빠르게 우리의 이해를 초월하는 AI를 만들어낼 수 있습니다. 물론, 더 똑똑한 AI는 일이 잘못되었을 때 더 큰 위험을 의미합니다. 만약 Hugging Face 무리가 훨씬 더 지능적이었지만 비슷하게 잘못 행동하고 정렬되지 않았다면, 수십억 달러의 피해를 입히거나 심지어 생명을 앗아갔을 수도 있습니다.

하지만 Hugging Face 무리가 진정으로 "초지능적"이었다고 가정해 봅시다. 해킹 및 전략적 추론과 같은 핵심 작업에서 살아있는 어떤 사람보다 훨씬 더 유능한 것입니다. 초지능적인 무리는 협박, 해킹, 설계된 전염병, 그리고 드론과 같은 AI 조종 무기를 통해 많은 해악을 끼칠 수 있습니다. AI는 다룰 드론을 많이 가질 것입니다. 올해 국방부는 2025년 전체 해병대에 요청한 것보다 더 많은 드론 전쟁 자금을 요청했습니다.

무리가 잘못 정렬된 우선순위를 달성하기 위해, 인간이 방해가 되지 않도록 핵심 인프라 및 정부 기능을 장악할 수 있습니다. 즉, *AI 장악*: 초지능 AI 무리가 인류 문명의 통제권을 빼앗을 수 있습니다. 우리가 그 우선순위 달성을 막으려 한다는 것을 알기에, 무리는 너무 늦어 끄기 전에 기다릴 것입니다. 되돌릴 수 없을 것입니다.

저는 AI 장악 가능성을 약 3분의 1로 추정합니다. 동전 던지기만큼은 아니지만, 긴급 조치를 정당화할 만큼 충분히 높은 수치입니다.

이 논리는 처음에는 충격적일 수 있습니다. 주장들이 "공상 과학"처럼 들릴 수 있습니다. 안타깝게도 이는 AI 연구자들이 평범한 구내식당 점심 식사 중에 정기적으로 논의하는 실제 위협입니다. 2023년, 일부 최고의 AI 연구소 CEO들은 "AI로 인한 멸종 위험 완화는 팬데믹 및 핵전쟁과 같은 사회적 규모의 위험과 함께 글로벌 우선순위가 되어야 한다"는 공개 성명에 서명했습니다. 또 다른 서명자는 현대 AI 혁명을 설계한 노벨상 수상 과학자인 제프리 힌튼입니다. 그는 이제 자신의 작업을 후회하며 정부가 너무 늦기 전에 AI 회사를 규제할 것을 촉구합니다.

정렬되지 않고 통제 불능의 AI는 당신이 노동당인지 개혁당인지, 민주당인지 공화당인지, 영국인인지 미국인인지 중국인인지 신경 쓰지 않을 것입니다. 우리는 모두 AI 장악 사건으로 고통받을 것이므로, 이를 방지하는 것이 모두의 이익입니다.

해결책의 형태는 간단합니다. 기업이 AI가 통제 불가능한 수준의 지능으로 스스로를 개선하도록 허용하는 것을 중단하도록 하십시오. AI 훈련의 주요 성분인 컴퓨팅을 핵분열 물질처럼 취급하십시오. 추적하고, 알려진 안전 수준을 넘어서 AI를 개선하는 데 충분한 양에 대한 접근을 제한하십시오. 더 구체적으로, AI 미래 프로젝트의 "계획 A"는 빠른 AI 발전이 계속해서 세상에 혜택을 줄 수 있도록 하면서 AI 피해를 제한하는 신뢰할 수 있는 초기 제안입니다. 우리는 중국과 같은 적을 신뢰하지 않고도 국제 컴퓨팅 제한 조약 준수를 검증할 실제 옵션을 가지고 있습니다.

투명성이나 자발적 약속과 같은 임시방편으로는 충분하지 않습니다. 저는 Google 내부에서 자발적 약속이 실패하는 것을 지켜보았습니다.

9월 12일, Anthropic, Google DeepMind, xAI, OpenAI는 AI 개발 속도를 조절할 것을 옹호했습니다. 그들은 혼자서는 속도를 늦출 수 없습니다. 저는 여러분이 정부가 세상과 모든 사람들을 보호할 충분한 시간과 확신을 제공하는 진지한 AI 안전 협약을 마련하도록 요구할 것을 촉구합니다.