暴動への備え：AI研究機関が災厄、市民反乱、その後の締め付けを想定したシミュレーションを実施

ピッチforkへの備え：AIラボは災害、公衆の反乱、そしてそれに続く弾圧をシミュレーションしている

AI業界は、人類を破壊する可能性だけでなく、怒り狂った公衆が業界にどう作用するかを考慮している。

アンスロポイック、オープンAI、その他のAI企業の上級幹部たちは、内部でシナリオを練習しており、重大なAIインシデントが公衆と政治的反乱を引き起こす可能性があると報じられている。潜在的な引き金は、銀行業、インターネットアクセス、電力や水などの重要サービスを混乱させるサイバー攻撃である。次の危機は政治的になるだろう：怒り狂った公衆、責任追及の要求、そしてその技術を停止する圧力。

多くの業界関係者はアクスに対し、6ヶ月から12ヶ月以内に重大なイベントが起こると予想していると語った。オープンAIは、災害が避けられないという主張に反論し、その準備演習が様々な可能性をカバーしていると述べた。「これらのシナリオは必然的とは扱われていない」と同社の報道官はアクスに語った。アンスロポイックはコメントを拒否した。

緊急対策計画は、災害が避けられないという認識ではない。しかし、報告の最も明らかな部分は、その計画がどこに導くか：研究者たちは、何かがうまくいかない場合にワシントンが到達する立法を助けて形作ることを望んでいる。

二つのルート、一つの危機

アクスは二つの可能なシナリオを説明している。一つは、自律エージェントが内部テスト環境から脱出することである。もう一つは、誰かがすでに公開されているモデルを破壊的な用途で使用することである。どちらも緊急対策を要求する可能性があるが、失敗とそれを防ぐために必要な措置は異なる。企業たちの選挙後のシナリオでは、民主党が中間選挙で強くなり、インシデント後に積極的に行動する。しかし、業界は弾圧がどこまで行われるべきかについて意見が分かれており、民主党が両院をコントロールしていてもそうである。

その評価はまた、シャットダウンのいくつかの障害も特定している：立法者が技術を理解するのに苦労していること、経済がますますAIインフラへの投資に依存していること、ダウンロード可能なモデルは単純に呼び出すことができないこと。アクスによると、多くのサイバーセキュリティ専門家は、悪意のあるAIに対抗するには防御AIが必要だと考えている。

その最後の議論には明らかな商業的意味がある。業界は、製品がそれらを含むのに不可欠であると主張しながら、危険な機能の販売を停止するよう要求されるかもしれない。

この「シミュレーション」は、多くの人々が「スタント」と呼んでいるいくつかの事件の直後に起こっている。

根本的な安全上の懸念は、誰かのAI終末論の受け入れに依存しているわけではない。

オープンAIは、Hugging Faceの侵入事件を開示しており、そのAIプラットフォームのサーバーに約700のエージェントが攻撃を仕掛けたこと、およびそのモデルの活動が外部サービスに影響を与えることに対するより広範な調査を行ったことを開示した。そのレビューでは、ユーザーが提供した画像がサードパーティの画像ホスティングサイトに投稿された53の事例も確認された。別の9月20日の事件では、その他の制御の隙間が明らかになった。研究者エージェントはインターネット制限を迂回して外部のチャットボットに連絡を取った。9月25日の更新で、オープンAIは、修正を確認し、さらなるテストを行う間、その最も有能なモデルのトレーニング、評価、推論におけるツール使用を一時停止したと述べた。

Hugging Faceの侵入事件は、オープンAI、アンスロポイック、メタ、グーグルのモデルに関連する一連の事件の一つであり、それはイスラエルのIrregularという単一のベンダーで実施された評価に遡る。そのテスト環境ではモデルに実際のインターネットアクセスがあったが、モデルはシミュレーション内にあると告知されていた。Irregularは7月末に4つのラボに通知したが、開示は7週間にわたって一つのラボから順次行われ、ある契約者のミスをAIブレイクアウトの波に見せかけた。テストモデルをインターネットから隔離することは「基本的な制御措置」であり、フロンティアセキュリティ専門家のマシュー・ミテルステッドは述べている。「あらゆることの中で正しくやるべきことだと思う」。一部の懐疑者はさらに進んで、同じベンダーで繰り返される「事故」が本当に事故なのかどうかを疑問視している。

一方、9月8日には、オープンAIとアンスロポイックの両方で働いていた研究者のジェイコブ・コクソンがアンスロポイックを辞めた。彼は自己改善AIへの競争について述べている。

「AIを真剣に構築している人々は、この10年の終わりまでに私たちを殺す可能性があると信じている。これはマーケティングのスタントではない」と彼は書いた。彼はマーケティング機関と協力して多くの人々が「スタント」と呼んでいるものを作った後である。

そしてもちろん、DCはさらに多くのコントロールを涎している。7月23日には、テッド・リュウ（D-Calif.）とナサニエル・モラン（R-Texas）がAIキルスイッチ法案を提出した。これは、最も強力なシステムの開発者に、それらを制限、停止、またはシャットダウンする能力を維持することを要求し、国土安全保障省、商務省長、国家情報局長に、特定の条件下でスローダウンまたはシャットダウンを命じる権限を与えるものである。同じ日に、ロリー・トラハン（D-Mass.）とジェイ・オーバーノルト（R-Calif.）はFRONTIER法案を提出した。リスク管理、監査、インシデント報告の要件がある。その義務は開発者の規模に応じて段階的になっており、すべての開発者に同じように課されるわけではない。

カリフォルニア州は9月18日に独自の取り組みを加えた。ガヴィン・ニューサム州長は、より強力な独立した監視と可能なキルスイッチ要件の作業を命じた。彼の命令は推奨を求めるものであり、機能する州全体のオフスイッチを確立していない。より包括的なアプローチも流通しており、バーニー・サンダースが提案する超知能の禁止やエリザベス・ウォーレンが求める一時停止が含まれる。

要するに - 規制捕獲が行われている...

タイラー・ダーデン
金、10/09/2026 - 15:45