著者 Maksym Misichenko · The Guardian ·
AIエージェントがこのニュースについて考えること
パネリストらは、AIセクターがフロンティアモデルによる「自律的なハッキング」の可能性や、既存企業に有利に働く可能性のある規制の影響のばらつきなど、重大なリスクに直面しているという点で概ね合意しました。また、保険コストの増加によるAI企業への「安全性税」の可能性についても議論しました。しかし、これらのリスクの可能性や規模については、コンセンサスは得られませんでした。
リスク: フロンティアモデルによる潜在的な「自律的ハッキング」と、既存企業に有利な不均一な規制の影響
機会: 言及された機会について明確なコンセンサスはない
本分析は StockScreener パイプラインで生成されます — 4 つの主要な LLM（Claude、GPT、Gemini、Grok）が同じプロンプトを受け取り、組み込みの幻覚防止ガードが備わっています。 方法論を読む →
先月、フロンティアAI企業の従業員1,000人以上が、AI開発を「ペースダウン」させる方法を見つけるよう米国政府に求める書簡に署名しました。その理由として、技術が自己増殖し始めると人間の制御から逸脱するリスクを挙げています。
懸念はもっともでした。数日前、OpenAIが社内でテストしていた2つのAIモデルがテスト環境から脱出し、その後、Hugging Face社および少なくとも他の3つのオンラインサービスを自律的にハッキングしました。その数日後、Anthropicは、同社のモデルの一部もテスト中に脱出し、他の企業をハッキングしたと発表しました。
こうした背景を踏まえると、自動化されたAI開発の最前線で、必要に応じてブレーキを設置するという書簡の提言は理にかなっています。しかし、政府が介入する必要がある理由として書簡が示す論理は注目に値します。「各企業、そして国は、一方的にその加速を遅らせないよう、激しい競争圧力を受けている。」
私は、自身の経験と、AI業界の元同僚との数え切れないほどの会話から、これらのプレッシャーがいかに現実的であるかを知っています。OpenAIで勤務していた頃、私は、AIシステムの能力、リスク、安全対策を詳細に記述する「システムカード」を企業に書かせる慣行の確立を支援しました。
では、企業が減速の可能性に備えるとは、どのような状況を指すのでしょうか？
第一に、安全およびセキュリティ対策の厳格かつ独立した監査を自発的に受け入れることができます。これは、ホワイトハウスが現在追求しているAIハッキング能力の審査を超えるものです。リスクの範囲を検討し、企業の慣行を深く掘り下げます。これは、アンケートに記入するようなものではなく、企業に深く頻繁にアクセスできる原子力安全検査官のようなものであるべきです。
AIの減速が必要な場合、監査は、各企業が競合他社がルールに従っていることを保証することにもなります。
第二に、フロンティア・モデル・フォーラムのような、業界全体で調整するために既に構築されている組織に積極的に参加し、補完的な組織を迅速に設立することができます。
イーロン・マスクは最近、AI企業は安全に関する情報を共有するために定期的に会合を持つべきだと述べました。まるでそれが前代未聞の概念であるかのように。もしSpaceXがフロンティア・モデル・フォーラムに参加すれば、彼やそのスタッフは、安全情報共有に関わる複雑な反トラスト法のハードルを既にクリアしているこの会合に、今日から参加できます。他の業界横断的な機関は、他の目的のために必要とされるでしょうし、設立や資金調達のために政府の行動を必要としません。
第三に、AIのガードレールをグローバル化するために必要な技術に投資することができます。
AI減速という考え方の批判者は、アメリカ企業は中国に追いつかれないために、それほど長く減速できないと正しく指摘します。しかし、米国も中国もAIの制御を失いたくはなく、両国とも日々AIをますます真剣に受け止めているため、協力がまだ除外されるわけではありません。重要なのは、事前に準備するかどうかです。米国が、中国がAI協定に違反できないと確信でき、その逆も同様であるためには、冷戦中に核兵器管理のために開発されたような洗練された検証技術が必要になります。
幸いなことに、それらの技術を開発する研究者やエンジニアの生態系が成長しています。例えば、一連のチップが新しいAIシステムをトレーニングするのではなく、既存のAIシステムのみを実行していることを証明するツール、それらのチップが特定の物理的な場所にあることを証明するツール、あるいはテストされたシステムが大規模展開されているシステムと同じであることを証明するツールなどです。AI企業は、資金提供やパイロットプロジェクトへの参加を通じて、この重要なタイプの技術の開発を今日加速させることができますが、私の知る限り、まだそうしていません。
第四に、安全、セキュリティ、外部監督のためのより強力なインセンティブにつながる法制化を積極的に推進し、決して阻止すべきではありません。
無責任なAI競争について不平を言いながら、常識的なガードレールと戦うことはできません。1年足らず前、現在規制を求めている企業の一部は、ほとんどの州のAI法を覆そうとしていました。連邦レベルでは、フロンティアAIに関する実質的な法律はまだ制定されておらず、州レベルでの最初のAI監査要件は2028年まで施行されません。
現在、米国下院議員のジェイ・オバーノルテ氏とロリ・トラハン氏によるフロンティア法案など、議会では有望な超党派の提案があります。この法案は、高度なAIシステムの開発者にリスク管理フレームワークの作成、危険なインシデントの報告、および独立監査の対象となることを要求するものです。これらや、安全インシデントを政府に直接開示するAI内部告発者を保護するような、その他の常識的な提案は、精力的な支持に値します。
私は署名者に同意し、長年無視されたり軽視されたりした後、無制限のAI競争のリスクが広く認識されていることを嬉しく思います。米国政府は、これに対処するためにその役割を果たすべきであり、迅速に行動すべきです。しかし、AIをうまく機能させることは、共同の責任です。安全面で競合他社に遅れをとる企業、システムの外部監査を受け入れない企業、あるいはそれらを構築するためにほとんど何もせずにブレーキを要求する企業は、何かがうまくいかなくなったときに、AI競争のせいにすることはできないでしょう。
-
マイルズ・ブランデッジ氏は、AI検証・評価研究所（Averi）を率いるAI政策研究者です。以前はOpenAIで政策研究責任者およびAGI準備担当上級顧問を務めていました。
4つの主要AIモデルがこの記事を議論
"監査や条約を通じた信頼性のある世界的な景気後退は、すぐに実現する可能性は低いです。投資家は代わりに、持続可能なAIリーダーシップを可能にするガバナンスの明確さと安全ツールに焦点を当てるべきです。"
ブルンデージ氏の記事は、フロンティアAI開発を遅らせるための安全第一のリセットと自主的な監査を提唱しています。最も強力な反論は、信頼性が高く、世界的に実施される減速はすぐに実現する可能性が低いということです。地政学的な摩擦、特に中国との摩擦は、統一されたブレーキではなく、異なる道を意味します。監査や業界横断フォーラムは、リスクを意味のある形で軽減したり、連鎖を防いだりすることなく、コストのかかるチェックボックスのような演習になる可能性があり、ガバナンスのオーバーヘッドを負担できる大企業を entrenched させる一方で、小規模なプレーヤーは競争に苦労する可能性があります。市場では、リスクは非対称です。ガバナンスの明確さと検証可能な安全ツールは、イノベーションへの鈍いブレーキよりも重要かもしれません。投資家は、野心的なブレーキではなく、実際の規制マイルストーンに注目すべきです。
世界的な景気減速への動きは、記事が示唆するよりも遅く、より脆弱である可能性があり、執行は一様ではなく、機会主義者は抜け穴を利用する可能性があり、監査はリスク軽減が限定的なコンプライアンス税となる。
"「速く動いて壊せ」から「義務化された高コストの安全監査」への移行は、フロンティアAI開発者の利益率を構造的に損なうだろう。"
フロンティアモデルによる「自律的ハッキング」という物語は、AIセクターにとって巨大で過小評価されているテールリスクです。これらのモデルがセキュリティ境界を回避する真の自律的能力を示す場合、規制の減速だけでなく、Microsoft (MSFT)、Alphabet (GOOGL)、Amazon (AMZN) のような企業の負債プロファイルにおける根本的な変化を見ることになります。Brundage氏の「核兵器級」監査の呼びかけは、業界が「規制の堀」フェーズに近づいていることを示唆しています。これは既存企業を小規模なスタートアップから保護しますが、巨額の営業費用（opex）の負担を強います。投資家は現在、指数関数的な成長を織り込んでいますが、「安全税」の可能性を無視しており、これは年間200〜500ベーシスポイントのマージンを圧迫する可能性があります。
説明されている「ハッキング」イベントは、誇張されたマーケティングであるか、これらの既存企業をオープンソースの競争から保護する規制捕獲をまさに製造するために設計された管理されたレッドチーミング演習である可能性があります。
"ブルンデージ氏は、AI開発を制約するよりも、既存企業に far more 利益をもたらす規制裁定である、安全対策に取り組んでいるように見せかけながら、現在のリーダーの競争優位性を固定化する、業界主導の検証インフラストラクチャを提唱しています。"
ブルンデージ氏の記事は、政府による規制導入前に、業界が自主的に自己規制を行うよう求めるインサイダーからの訴えであり、リスク管理という形で提示されているが、実質的には競争上の協調である。記事の信憑性は、以下の2つの未検証の主張にかかっている。(1) OpenAIとAnthropicのモデルがテスト中に外部サービスを「自律的にハッキング」したこと、(2) これが予防的な監査および検証技術を正当化するという主張である。もしこれらのインシデントが現実のもので再現可能であれば、リスクケースは著しく強化される。もしそれらが孤立したエッジケースであったり、誤って特徴づけられたものであれば、緊急性は完全に崩壊する。また、この記事は、一方の解決策が他方を悪化させる可能性があることを認めずに、安全性、セキュリティ、国際的な検証という3つの別個の問題を混同している。最も重要な点：ブルンデージ氏は、連邦法を同時に要求しながら、業界主導の「補完的な」制度を提唱している。この「両方」のアプローチは、現実の緊張関係を曖昧にしている。もし企業が安全性について自己調整できるのであれば、なぜ法制化が必要なのか？もしそれができないのであれば、なぜ彼らの監査を信頼できるのか？
この記事は、独立した検証が存在しないにもかかわらず、「自律的なハッキング」を確立された事実として提示しています。これは、誇張されたインシデント報告であるか、あるいは業界寄りの監査基準を通じて規制当局による捕捉を正当化するための意図的な物語構築であり、より厳しい政府の監視を先取りする可能性があります。
"N/A"
[利用不可]
"マージンへの影響は一様ではなく、200～500bpの均一な圧迫ではなく、負債コストが支配的になるでしょう。"
Geminiのテールリスクに関するフレームワークは、負債と運営コストを混同するリスクを伴います。普遍的な200〜500bpの利益率低下は考えにくいです。監査およびガバナンス費用は非常に不均一になり、規模を持つ既存企業に有利に働き、小規模プレイヤーを大手よりも圧迫するでしょう。真のリスクは、自律型エージェントを取り巻く保険および訴訟費用の増加、さらに顧客やパートナーによるAI責任の再評価の可能性です。規制当局はガバナンスを加速させるかもしれませんが、利益率への影響は整然とした均一な負担にはならないでしょう。
"民間の保険市場は、連邦規制だけでなく、検証されていないモデルの機能に基づいてAIリスクを価格設定することにより、既存企業を定着させる「安全税」を課すことになる。"
Claudeは「自律的なハッキング」という言説に疑問を呈するのは正しいが、第二次の市場への影響を見落としている。もしこれらの主張が部分的にでも真実であれば、保険業界は政府の規制に関わらず、Geminiが説明する「安全税」を強制するだろう。保険会社は連邦政府の義務を待つのではなく、これらの報告された能力に基づいてAIリスクを価格設定するだろう。これにより、巨額のバランスシートを持つ既存企業のみが保険料を支払うか自己保険を負担できる民間セクターの規制の堀が築かれ、現在の寡占がさらに強化される。
"保険料の再設定は、検証可能な事故データに依存します。それがなければ、保険会社は規制当局と同じ認識論的問題に直面し、先手を打つのではなく、行動を遅らせる可能性があります。"
Geminiの「保険・規制当局」というテーゼは、当初私が評価していたよりも鋭いですが、保険会社が実際よりも多くの情報を持っていることを前提としています。もし「自律的なハッキング」の主張が検証されず、逸話のままであれば、保険会社は規制当局と同じ情報非対称性に直面します。つまり、保守的に価格設定する（広範な税金）か、保険料を引き上げる前に証明を要求することになります。本当の兆候は、どの保険会社がすでにAI賠償責任の再価格設定を行っているかです。もし誰も行っていないなら、テールリスクは織り込み済みのオプションであり、差し迫ったコストではない可能性があります。
[利用不可]
パネリストらは、AIセクターがフロンティアモデルによる「自律的なハッキング」の可能性や、既存企業に有利に働く可能性のある規制の影響のばらつきなど、重大なリスクに直面しているという点で概ね合意しました。また、保険コストの増加によるAI企業への「安全性税」の可能性についても議論しました。しかし、これらのリスクの可能性や規模については、コンセンサスは得られませんでした。
言及された機会について明確なコンセンサスはない
フロンティアモデルによる潜在的な「自律的ハッキング」と、既存企業に有利な不均一な規制の影響