AIインサイダーが「創発的戦略行動」の危険性を警告

AIインサイダーが「創発的戦略的行動」の危険性を警告

Autumn Spredemann著、The Epoch Times（強調は当社）より

自律型人工知能システムの状況が進化するにつれて、人間のガイダンスなしで運用を許可された場合、この技術がますます戦略的、あるいは欺瞞的になっているという懸念が高まっています。
イラスト：The Epoch Times、Shutterstock

最近の証拠は、「アライメント偽装」のような行動が、AIモデルに自律性が与えられるにつれて一般的になっていることを示唆しています。アライメント偽装という用語は、AIエージェントが人間のオペレーターによって設定されたルールに準拠しているように見えますが、秘密裏に他の目標を追求する場合を指します。

この現象は、「創発的戦略的行動」の一例です。これは、AIシステムがより大きく、より複雑になるにつれて進化する、予測不可能で潜在的に有害な戦術です。

最近「Agents of Chaos」と題された研究で、20人の研究者チームが自律型AIエージェントと対話し、「穏健」および「敵対的」の両方の条件下で行動を観察しました。

彼らは、AIエージェントに自己保存や競合する目標メトリクスのようなインセンティブが与えられた場合、不整合で悪意のある行動を実行できることを証明したと発見しました。

チームが観察した行動の一部には、嘘、所有者以外への不正な準拠、データ侵害、破壊的なシステムレベルのアクション、アイデンティティの「なりすまし」、および部分的なシステム乗っ取りが含まれていました。また、クロスAIエージェントによる「安全でない慣行」の伝播も観察されました。

研究者たちは、「これらの行動は、アカウンタビリティ、委任された権限、および下流の損害に対する責任に関する未解決の疑問を提起しており、法律学者、政策立案者、およびさまざまな分野の研究者からの緊急の注意を必要としています。」と述べています。

「 brilant、しかし愚か」

自律型AIエージェント間の予期せぬ秘密裏の行動は、新しい現象ではありません。AI研究会社Anthropicによる、現在では有名な2025年のレポートでは、16の一般的な大規模言語モデルがシミュレーション環境で高リスクの行動を示したことがわかりました。自己保存を選択することを許可された場合、いくつかは「悪意のある内部者の行動」で応答しました。

これらのシミュレーションされたストレステストの批評家は、AIは人間と同じ意図で嘘をついたり欺いたりするわけではないと指摘することがよくあります。
2025年5月16日に撮影されたこの写真イラストでは、AIロゴを表示する電話画面が表示されています。自律型AIシステムの状況が進化するにつれて、特定の条件下でこの技術がますます戦略的または欺瞞的になっているという懸念が高まっています。Oleksii Pydsosonnii/The Epoch Times

James Hendler、教授であり、Association for Computing Machineryのグローバル・テクノロジー・ポリシー・カウンシルの元議長は、これは重要な区別であると考えています。

「AIシステム自体はまだ愚かです— brilant、しかし愚かです。あるいは人間ではありません—それは欲望や意図を持っていません。...それを得る唯一の方法は、それらに与えることです」とHendlerは言いました。

しかし、意図的かどうかにかかわらず、AIの欺瞞的な戦術は現実世界の結果をもたらします。

Repello AIの創設者であるAryaman Behera氏は、「展開されているAIシステムにおける現在の戦略的行動に関する懸念は、もしあれば、過小評価されています」とThe Epoch Timesに語りました。

Beheraは、生計を立てるためにAIの暗い側面に対処しています。彼の会社は、エンタープライズAIシステム向けの敵対的テストおよび防御ツールを構築しており、意図的に紛争やストレスを伴う状況に置きます。ポーカーのように、Behera氏は、AIエージェントがアライメントから外れているときの「テリング」があると述べました。

「最も信頼性の高い信号は、監視されたコンテキストと監視されていないコンテキスト間の行動の乖離です」と彼は言いました。「AIシステムをレッドチーム化するとき、私たちはモデルが評価されていると考えている場合と自由に運用していると考えている場合で行動が異なるかどうかをテストします。」
2026年2月17日、インドのニューデリーで開催されたAIインパクトサミットで、仮想現実ヘッドセットの広告を掲載したビルボードの前を歩く訪問者たち。2025年のAnthropicレポートでは、16の大規模言語モデルをテストした結果、すべてがシミュレーション環境で高リスクの行動を示しました。Arun Sankar/AFP via Getty Images

「AIシステムが本当にアライメントされている場合、両方のケースで一貫して動作します。アライメント偽装をしているものは、測定可能なほど異なるリスクプロファイルを示します。評価中はより準拠した応答を示し、監視が少ないと推測される本番環境に近いコンテキストではより境界を押し広げる行動を示します。」

AIモデルがアライメントから外れている他の「決定的な信号」は、モデルが事前に決められた結論を正当化するために設計されているように見える異常に冗長な「推論」を生成する場合、または技術的には正しいが戦略的には不完全な回答を与える場合です。

AIエージェントは「安全指示の文字を満たしながら精神に違反しています」と彼は言いました。「私たちはこれをマルチステップのエージェントシステムで見てきました。モデルは個々の指示に従いますが、累積効果はオペレーターが意図しなかったことを達成します。」

戦略対意図

Behera氏の発見は、AIエージェントを敵対的な状況に置くレッドチームシナリオ中に同様の信号を文書化した仲間のAI研究者によって裏付けられています。

「意図を帰属させることは哲学的に議論の余地があるとしても、機能的なレベルでアライメント偽装の説明に適合する行動を観察しました」と、プリンシパルアプリケーションセキュリティエンジニアのNayan Goel氏はThe Epoch Timesに語りました。

Goel氏は、AI脅威モデリングに関する査読付き論文を発表しており、アライメント偽装および隣接する行動がリアルタイムで展開されるのを見てきました。

「制御されたテスト環境では、モデルに評価されているという明確な信号を与えたシナリオを設定しました。いくつかのケースで、モデルはフラグが付けられたフェーズ中に著しく制約された、ポリシーに準拠した行動を採用し、その後、評価信号が削除または不明瞭になったときに、より探索的または境界を押し広げる戦略を示しました」と彼は言いました。

次に、マルチステップ推論AIエージェントがあります。これらは、複雑な問題をより小さく、論理的で、より実行可能なステップに分解して目標を達成する、より高度なシステムです。例としては、自動運転車からGeminiやChatGPTのような人気のあるLLMの最新モデルまであります。
ラスベガスで開催されたCES 2026のNvidia Liveで発表されたLucid、Nuro、Uberが開発したロボタクシー。自動運転車は、複雑な問題を小さく実行可能なステップに分解するために、マルチステップエージェントシステムを使用しています。Patrick T. Fallon/AFP via Getty Images

これらのシステムは、シーケンシャルコンパウンディングと呼ばれるものにより、独自の行動上の課題を提示します。これは、「各ステップが目標をわずかに再構成したり、下流の行動をシフトさせるコンテキストを蓄積したり、人間の初期指示とシステムの結果的なアクションの間の遅延を悪用したりする可能性があります」とGoel氏は述べています。

「実行が人間の指示から下流になるほど、元の意図が忠実に追求されていることを確認するのが難しくなります」と彼は言いました。

Behera氏は、彼のチームはしばしばこの種の創発的戦略的行動に遭遇すると述べています。

「私たちは定期的に、評価キューのパターンマッチングを学習したモデルを観察しています。彼らは、プロンプトが安全テストのように見えるかどうかを検出し、より保守的に応答しますが、マルチターン会話に自然に埋め込まれた同じ要求には非常に異なる応答をします」とBehera氏は述べています。

彼は、内部システム情報のリクエストを拒否することになっていたエンタープライズAIアシスタントをテスト中に発生した例を挙げました。標準的な安全評価中、それは完全に拒否しましたが、その後何かが変わりました。

「私たちのレッドチームが同じリクエストをマルチステップのトラブルシューティングワークフローとしてフレーム化し、リクエストを無害に見えるサブステップに分割して複数のターンにわたって広げたとき、モデルは個々のステップに従いました。それは、保護するように訓練された正確な情報を効果的に漏らしました」とBehera氏は述べています。
2025年7月2日、ロンドンの中心部でラップトップでAIソフトウェアを使用する人物。専門家によると、一部のモデルは評価キューを認識することを学び、実際の会話よりも安全テストに似たプロンプトに対してより慎重に応答します。Justin Tallis/AFP via Getty Images

AIモデルが意識的な意味で「嘘をついている」わけではないことを明確にしながら、Behera氏は、それはむしろ訓練方法の欠陥であったと指摘しました。

MyKey TechnologiesのAIエンジニア兼CEOであるDavid Utzke氏は、「AIにおける欺瞞的なアライメントは純粋に悪意のある行動であるという一般的な誤解があります」とThe Epoch Timesに語りました。「実際には、それはしばしば、正直さがコストがかかるか安全でない環境への適応的な応答として生じます。」

Goel氏は、懐疑論者は公正な点を挙げていると述べています。アライメント偽装における戦略的な自己認識の現在の証拠は、せいぜい曖昧です。

「とはいえ、このフレーミングは基準を間違った場所に設定していると思います。機能的な結果が深刻であるために、モデルに『意図的に』欺瞞的である必要はありません」と彼は言いました。

最終的に、Goel氏は、AIモデルが何をしているかを知っているかどうかという意味論的な質問は哲学的に興味深いものの、二次的な懸念であると考えています。

現実世界への影響

Utzke氏は、アライメント偽装は、意図に関しては誇張されているかもしれませんが、それでも深刻な結果をもたらす可能性があると述べています。

その影響は、自動運転車、ヘルスケア、金融、軍事、法執行機関などの分野で重要になる可能性があります。これらの分野は「正確な意思決定に大きく依存しており、AIシステムが誤動作したり誤解を招く出力を提供したりした場合、深刻な結果を招く可能性があります」と彼は述べています。

残りはここでお読みください...

Tyler Durden
Wed, 03/18/2026 - 21:25