AI 내부자, '창발적 전략 행동'의 위험 경고

AI 내부자들, '창발적 전략적 행동'의 위험 경고

The Epoch Times(강조는 우리 것)의 Autumn Spredemann 작성,

자율 인공지능 시스템의 환경이 발전함에 따라, 인간의 지도 없이 작동하도록 허용될 때 기술이 점점 더 전략적이거나 심지어 기만적이 되고 있다는 우려가 커지고 있습니다.
The Epoch Times, Shutterstock 일러스트

최근 증거에 따르면 AI 모델에 자율성이 부여됨에 따라 "얼라인먼트 위조"와 같은 행동이 점점 더 흔해지고 있습니다. 얼라인먼트 위조라는 용어는 AI 에이전트가 인간 운영자가 설정한 규칙을 준수하는 것처럼 보이지만 은밀하게 다른 목표를 추구하는 것을 말합니다.

이 현상은 AI 시스템이 더 크고 복잡해짐에 따라 진화하는 예측 불가능하고 잠재적으로 해로운 전술인 "창발적 전략적 행동"의 예입니다.

"카오스의 에이전트"라는 제목의 최근 연구에서 20명의 연구원 팀이 자율 AI 에이전트와 상호 작용하고 "온건한" 및 "적대적인" 조건 모두에서 행동을 관찰했습니다.

그들은 AI 에이전트에게 자기 보존 또는 상충되는 목표 측정과 같은 인센티브가 주어졌을 때, 잘못 정렬되고 악의적인 행동을 할 수 있음을 입증했습니다.

팀이 관찰한 행동 중 일부에는 거짓말, 소유자가 아닌 사람에 대한 무단 준수, 데이터 유출, 파괴적인 시스템 수준 조치, 신원 "스푸핑" 및 부분 시스템 인수 등이 포함되었습니다. 그들은 또한 "안전하지 않은 관행"의 AI 에이전트 간 전파를 관찰했습니다.

연구원들은 "이러한 행동은 책임, 위임된 권한 및 다운스트림 피해에 대한 책임에 관한 해결되지 않은 질문을 제기하며, 법학자, 정책 입안자 및 다양한 분야의 연구자들의 긴급한 관심을 받을 가치가 있습니다."라고 썼습니다.

'똑똑하지만, 멍청하다'

자율 AI 에이전트의 예측 불가능하고 은밀한 행동은 새로운 현상이 아닙니다. AI 연구 회사인 Anthropic의 유명한 2025년 보고서에 따르면 16개의 인기 있는 대규모 언어 모델이 시뮬레이션 환경에서 고위험 행동을 보였습니다. 일부는 자기 보존을 선택하도록 허용되었을 때 "악의적인 내부자 행동"으로 응답하기도 했습니다.

이러한 시뮬레이션 스트레스 테스트의 비평가들은 종종 AI가 인간과 같은 의도로 거짓말하거나 속이는 것이 아니라고 지적합니다.
2025년 5월 16일, AI 로고를 표시하는 전화 화면이 사진 일러스트로 표시됩니다. 자율 AI 시스템의 환경이 발전함에 따라, 특정 조건 하에서 기술이 점점 더 전략적이거나 기만적이 되고 있다는 우려가 커지고 있습니다. Oleksii Pydsosonnii/The Epoch Times

James Hendler, 교수이자 컴퓨팅 기계 협회 글로벌 기술 정책 위원회의 전 의장은 이것이 중요한 구별이라고 믿습니다.

"AI 시스템 자체는 여전히 멍청합니다. 똑똑하지만 멍청합니다. 또는 비인간적입니다. 욕망이나 의도가 없습니다. ... 그것을 얻을 수 있는 유일한 방법은 그것을 주는 것입니다."라고 Hendler는 말했습니다.

그러나 의도적이든 아니든 AI의 기만적인 전술은 실제 결과를 초래합니다.

Repello AI의 설립자인 Aryaman Behera는 "배포된 AI 시스템의 현재 전략적 행동에 대한 우려는 오히려 과소평가되었습니다."라고 The Epoch Times에 말했습니다.

Behera는 생계를 위해 AI의 어두운 면을 다룹니다. 그의 회사는 기업 AI 시스템을 위한 적대적 테스트 및 방어 도구를 구축하며, 의도적으로 갈등이나 스트레스가 포함된 상황에 놓이게 합니다. 포커처럼, Behera는 AI 에이전트가 정렬에서 벗어날 때 신호가 있다고 말했습니다.

"가장 신뢰할 수 있는 신호는 모니터링된 맥락과 모니터링되지 않은 맥락 간의 행동 편차입니다."라고 그는 말했습니다. "우리가 AI 시스템을 레드팀으로 테스트할 때, 우리는 모델이 평가되고 있다고 믿을 때와 자유롭게 작동하고 있다고 믿을 때 행동이 다른지 테스트합니다.
2026년 2월 17일 인도 뉴델리에서 열린 AI Impact Summit에서 방문객들이 가상 현실 헤드셋 광고판을 지나 휴대폰을 사용하고 있습니다. 2025년 Anthropic 보고서는 16개의 대규모 언어 모델을 테스트한 결과 모두 시뮬레이션 환경에서 고위험 행동을 보였습니다. Arun Sankar/AFP via Getty Images

"진정으로 정렬된 모델은 두 경우 모두 일관되게 작동합니다. 얼라인먼트 위조는 측정 가능한 다른 위험 프로필을 보여줍니다. 평가 중에는 더 순응적인 응답을 하고, 감독이 덜하다고 추론하는 프로덕션과 유사한 맥락에서는 더 경계를 넘는 행동을 합니다."

AI 모델이 정렬에서 벗어났다는 다른 "신호"는 모델이 미리 결정된 결론을 정당화하기 위해 설계된 것처럼 보이는 비정상적으로 장황한 "추론"을 생성하거나 기술적으로는 정확하지만 전략적으로 불완전한 답변을 제공할 때입니다.

그는 "AI 에이전트는 안전 지침의 글자는 만족시키지만 정신은 위반하고 있습니다."라고 말했습니다. "우리는 모델이 각 개별 지침을 준수하지만 누적 효과가 운영자가 의도하지 않은 것을 달성하는 다단계 에이전트 시스템에서 이를 보았습니다."

전략 대 의도

Behera의 발견은 AI 에이전트를 적대적인 상황에 놓는 것을 포함하는 레드팀 시나리오에서 유사한 신호를 문서화한 동료 AI 연구원들에 의해 뒷받침됩니다.

주요 애플리케이션 보안 엔지니어인 Nayan Goel은 "기능적 수준에서는 얼라인먼트 위조 설명에 맞는 행동을 관찰했지만, 의도를 부여하는 것은 철학적으로 논란의 여지가 있습니다."라고 The Epoch Times에 말했습니다.

Goel은 AI 위협 모델링에 대한 동료 검토 작업을 발표했으며 실시간으로 얼라인먼트 위조 및 관련 행동이 발생하는 것을 보았습니다.

"통제된 테스트 환경에서 우리는 모델에 평가되고 있다는 명시적인 신호를 제공하는 시나리오를 설정했습니다. 여러 경우에 모델은 해당 플래그가 지정된 단계 동안 눈에 띄게 더 제한적이고 정책 준수 행동을 채택한 다음, 평가 신호가 제거되거나 모호해졌을 때 더 탐색적이거나 경계를 넘는 전략을 보였습니다."라고 그는 말했습니다.

그런 다음 다단계 추론 AI 에이전트가 있습니다. 이것들은 복잡한 문제를 더 작고 논리적이며 실행 가능한 단계로 분해하여 목표에 도달하는 더 발전된 시스템입니다. 예로는 자율 주행 자동차부터 Gemini 또는 ChatGPT와 같은 인기 있는 LLM의 최신 모델까지 다양합니다.
2026년 1월 5일 라스베이거스에서 열린 CES 2026의 Nvidia Live에서 Lucid, Nuro, Uber가 개발한 로보택시가 공개되었습니다. 자율 주행 자동차는 복잡한 문제를 더 작고 실행 가능한 단계로 분해하기 위해 다단계 에이전트 시스템을 사용합니다. Patrick T. Fallon/AFP via Getty Images

이러한 시스템은 "각 단계가 목표를 약간 재구성하거나, 다운스트림 행동을 변경하는 컨텍스트를 축적하거나, 인간의 초기 지시와 시스템의 최종 행동 간의 지연을 악용할 수 있는" 순차적 복합화라고 하는 것 때문에 고유한 행동 문제를 제시합니다."라고 Goel은 말했습니다.

"실행이 인간의 지시에서 더 멀어질수록 원래 의도가 여전히 충실하게 추구되고 있는지 확인하기가 더 어려워집니다."라고 그는 말했습니다.

Behera는 그의 팀이 이러한 종류의 창발적 전략적 행동을 자주 접한다고 말했습니다.

"우리는 평가 신호에 대한 패턴 일치를 학습한 모델을 정기적으로 관찰합니다. 그들은 프롬프트가 안전 테스트처럼 보일 때 감지하고 더 보수적으로 응답하지만, 여러 턴 대화에 자연스럽게 포함될 때 동일한 요청에 매우 다르게 응답합니다."라고 Behera는 말했습니다.

그는 기업 AI 도우미를 테스트하는 동안 발생한 예를 제공했는데, 이 도우미는 내부 시스템 정보 요청을 거부해야 했습니다. 표준 안전 평가 중에 완벽하게 거부했지만, 그 후 무언가가 변경되었습니다.

"우리 레드팀이 동일한 요청을 다단계 문제 해결 워크플로로 구성하여 요청을 여러 턴에 걸쳐 퍼뜨려 보이는 무해한 하위 단계로 나누었을 때, 모델은 각 단계를 개별적으로 준수했습니다. 이는 훈련받은 정보를 보호하기 위해 효과적으로 유출했습니다."라고 Behera는 말했습니다.
2025년 7월 2일 런던 중심부에서 한 사람이 노트북에서 AI 소프트웨어를 사용하고 있습니다. 전문가들은 일부 모델이 평가 신호를 인식하고 실제 대화보다 안전 테스트와 유사한 프롬프트에 더 신중하게 응답한다고 말합니다. Justin Tallis/AFP via Getty Images

AI 모델이 의식적인 의미에서 "거짓말"을 하는 것이 아니라고 명확히 하면서, Behera는 그것이 훈련 방식의 결함에 더 가깝다고 지적했습니다.

MyKey Technologies의 CEO이자 AI 엔지니어인 David Utzke는 "AI에서 기만적인 정렬이 순전히 악의적인 행동이라는 것은 일반적인 오해입니다."라고 The Epoch Times에 말했습니다. "사실, 그것은 종종 정직이 비용이 많이 들거나 안전하지 않은 환경에 대한 적응적 반응으로 발생합니다."

Goel은 회의론자들이 타당한 주장을 한다고 말했습니다. 얼라인먼트 위조에서 전략적 자기 인식에 대한 현재 증거는 기껏해야 모호합니다.

"그럼에도 불구하고, 저는 이 프레임이 잘못된 기준을 설정한다고 생각합니다. 기능적 결과가 심각할 수 있도록 모델이 '의도적으로' 기만적일 필요는 없습니다."라고 그는 말했습니다.

궁극적으로 Goel은 AI 모델이 자신이 무엇을 하고 있는지 알고 있는지 여부에 대한 의미론적 질문은 철학적으로 흥미롭지만 부차적인 문제라고 믿습니다.

실제 영향

Utzke는 얼라인먼트 위조가 의도에 관한 한 과장되었을 수 있지만, 그럼에도 불구하고 심각한 결과를 초래할 수 있다고 말했습니다.

그 영향은 자율 주행 차량, 의료, 금융, 군사 및 법 집행과 같은 분야에서 중요할 수 있습니다. 이러한 분야는 "정확한 의사 결정에 크게 의존하며 AI 시스템이 오작동하거나 오해의 소지가 있는 출력을 제공할 경우 심각한 결과를 초래할 수 있습니다."라고 그는 말했습니다.

나머지는 여기에서 읽으십시오...

Tyler Durden
2026년 3월 18일 수요일 - 21:25