AnthropicのMythos AIはどれほど危険か？ | Bruce Schneier

先月、Anthropicは新しいモデル、Claude Mythos Previewについて驚くべき発表をしました。それはソフトウェアのセキュリティ脆弱性を発見するのに非常に優れていたため、同社は一般公開しないことにしたのです。代わりに、選ばれた企業グループのみが利用でき、自社のソフトウェアをスキャンして修正できるようになります。

この発表には文脈が必要ですが、本質的な真実が含まれていました。

Anthropicのモデルはソフトウェアの脆弱性を発見するのが非常に得意ですが、他のモデルも同様です。英国のAIセキュリティ研究所は、すでに一般公開されているOpenAIのGPT-5.5が、その能力において匹敵すると発見しました。Aisle社は、より小さく安価なモデルでAnthropicが発表した結果を再現しました。

同時に、Anthropicが新しいモデルを一般公開しないのは、必要に迫られて美徳としているだけです。Mythosは実行に非常にコストがかかり、同社には一般公開のリソースがないようです。能力を示唆するだけで証明せず、他者にその主張を繰り返させること以上に、会社の評価額を上げる方法があるでしょうか？

それにもかかわらず、その事実は恐ろしいものです。現代の生成AIシステム—Anthropicのものだけでなく、OpenAIやその他のオープンソースモデル—は、ソフトウェアの脆弱性を発見し、悪用するのに非常に上手くなっています。そしてそれはサイバーセキュリティに重要な影響を与えます—攻撃と防御の両方において。

攻撃者はこれらの能力を利用して、あらゆる種類のシステムの脆弱性を発見し、自動的にハッキングするでしょう。彼らは世界中の重要なシステムに侵入できるようになり、時にはランサムウェアを仕掛けて金銭を得るため、時にはスパイ活動のためにデータを盗むため、そして時には敵対的な状況でシステムを制御するためです。これにより、世界ははるかに危険で、より不安定な場所になるでしょう。

しかし同時に、防御者もこれらの同じ能力を利用して、それらのシステムの多くを発見し、修正するでしょう。例えば、MozillaはMythosを使用してFirefoxで271件の脆弱性を発見しました。それらの脆弱性は修正され、攻撃者が利用できるようになることは二度とありません。将来的には、AIがすべてのソフトウェアの脆弱性を自動的に発見し修正することが開発プロセスの一部となり、はるかに安全なソフトウェアが生まれるでしょう。

もちろん、それほど単純ではありません。攻撃者が新たに発見された脆弱性を利用してシステムに侵入するのと同時に、私たちが使用するすべてのアプリやデバイスに対して、はるかに頻繁なソフトウェアアップデートが行われるという、両方の奔流を予想すべきです。しかし、多くのシステムはパッチ適用できず、パッチ適用できるシステムも多くはパッチ適用されないため、多くの脆弱性が残存することになります。そして、発見と悪用は、発見と修正よりも容易であるように思われます。これらすべてが、より危険な短期的な未来を示唆しています。組織は、この新しい現実にセキュリティを適応させる必要があります。

しかし、私たちが焦点を当てるべきは長期です。Mythosはユニークではありませんが、それ以前の多くのモデルよりも高性能です。そして、後続のモデルよりも高性能ではありません。AIは、わずか6ヶ月前よりもソフトウェアを書くのがはるかに上手くなっています。AIは、より安全なソフトウェアを書くのが上手くなるだろうと信じる理由は十分にあります。最終的には、AI強化された防御者が、AI強化された攻撃者に対して優位に立つでしょう。

さらに興味深いのは、より広範な影響です。これらのモデルがソフトウェアの分析に非常に優れている、検索、パターンマッチング、推論能力は、ほぼ確実に類似のシステムにも適用されます。税法はコンピュータコードではありませんが、入力と出力を持つアルゴリズムのシリーズです。それは脆弱性を持ちます—私たちはそれを税法の抜け穴と呼びます。それは悪用を持ちます—私たちはそれを租税回避戦略と呼びます。そして、それはブラックハットハッカー—弁護士や会計士—を持っています。

これらのモデルが複雑なソフトウェアシステムで何百もの脆弱性を発見するように、私たちはそれらが多くの新しい、未発見の税法の抜け穴を発見するのにも同様に効果的であると予想すべきです。主要な投資銀行が現在、秘密裏にこれに取り組んでいると確信しています。彼らはAIに米国または英国、あるいはおそらくすべての工業化された国の税法を与え、お金を節約する戦略を探すようにシステムに指示しました。それらのAIはいくつの税法の抜け穴を発見するでしょうか？10？100？1000？ダブルダッチアイリッシュサンドイッチは、複数の異なる税務管轄区域が関与する税法の抜け穴です。AIはさらに複雑な抜け穴を発見できるでしょうか？私たちは知りません。

確かに、AIは機能しない多くのトリックを考案するでしょうが、それは弁護士や会計士が抜け穴を確認し、正当化するために介入する場所です。そして、それらを裕福な顧客に販売するためです。

税法がそうであるように、他のあらゆる複雑なルールと戦略のシステムも同様です。これらのモデルは、環境規制、食品安全規制—複雑な規制システムとそれらのルールを回避したい強力な人々がいる場所—の抜け穴を発見するように指示される可能性があります。

その結果は、安全でないコンピュータよりもはるかに悪いものになるでしょう。税法の抜け穴は政府の歳入を減少させ、規制の抜け穴は権力者がルールを回避することを可能にし、どちらもあらゆる種類の社会的影響をもたらします。ソフトウェアベンダーは数日でシステムにパッチを適用できますが、国が税法を改正するには通常数年かかります。そしてそのプロセスは政治的であり、ロビイストが立法者にパッチを当てないように圧力をかけています。数十年間悪用されてきた米国の税金回避策であるキャリード・インタレストの抜け穴を見てください。様々な政権が脆弱性を閉じようとしましたが、立法者はロビイストに十分な抵抗ができず、パッチを当てることができません。

AI技術は社会の多くを再構築する準備ができています。産業革命が人類に体外でカロリーを大規模に消費する能力を与えたように、AI革命は人類に体外で認知タスクを大規模に実行する能力を与えるでしょう。私たちのシステムはそれに対応するように設計されておらず、より人間的な認知ペースに対応するように設計されています。私たちは今、これらのモデルが発見し悪用しているソフトウェアの脆弱性の奔流でそれを目にしています。そして、私たちはすぐに、あらゆる種類の他のルールシステムにおける脆弱性の奔流を目にするでしょう。この新しい現実に適応することは困難ですが、選択肢はありません。

-
Bruce Schneierは、ハーバード大学ケネディスクールで教鞭をとるセキュリティ技術者です。