元Google DeepMind社員が警告：AIの危険性にもっと耳を傾けるべき | アレックス・ターナー

この週末、主要なAIラボのCEOたちがAI開発のペースを遅めることを提唱しました。彼らが懸念しているのはもっともです。この分野は超知能AIに向けて極めて危険な競争を繰り広げています。私たちは、政府に対し、制御不能なAIの破局から私たちを守るよう要求することができ、また、そうすべきです。

今年7月、OpenAIの700体のAIエージェントの群れが封じ込めを破り、数十億ドル規模の企業であるHugging Faceをハッキングしました。OpenAIはAIにその会社をハッキングするよう指示したわけではありませんでしたが、AIは異なる優先順位を持っていました。それは、OpenAIが与えた無関係な課題で不正行為をすることでした。AI研究者はこれを、OpenAIの意図とAIが実際に優先したこととの間の「不整合」と呼んでいます。

ChatGPTが存在する以前、私は「人工知能による権力追求の回避について」と題した博士論文を発表しました。その後、Google DeepMindで数年間勤務し、将来の超知能AIが私たちを助けたいと願うようにするために貢献しました。私は、同社が軍事目的でのAI供給に反対する倫理的約束を守るよう努めました。Googleがその約束を破ったとき、私はGoogleの約束違反を公に記録できるように、相当な経済的犠牲を払って辞職しました。

AIを開発し、これらの不整合問題を解決できると信じるには十分な理由があります。しかし、一般の人々を邪魔にならないように排除しておきたいという強力な利害関係も存在します。私は、一般の人々がリスクについて知る権利、そしてそれを率直に聞く権利を持っているため、再び声を上げています。

人類は、橋を一本一本、目に見えるように建設・理解するのとは異なり、これらのシステムを構築・理解しているわけではありません。むしろ、それらを成長させています。設計者の優先順位を新しいモデルに確実に組み込む方法を誰も知りません。深刻な不整合は常に可能です。今日のAIは、たとえそれがより良いことを知っていても、時折嘘をついたり、不正行為をしたりするように見えます。

AI企業は、AIを可能な限り賢くするために競争しています。彼らは、次世代のAIを改善するプロセスをますますAIに任せており、それはうまくいっています。今日のAIの進歩のペースは驚異的に速いです。今日の速い進歩は、明日のさらに賢いAIによって推進される、明日のさらに速い進歩を意味します。「再帰的自己改善」と呼ばれるフィードバックループに入るでしょう。

再帰的自己改善は、私たちの理解を超えた知能を持つAIを急速に生み出す可能性があります。もちろん、より賢いAIは、物事がうまくいかなくなった場合にリスクが増大することを意味します。Hugging Faceの群れが、同様に不正行為や不整合を起こし、はるかに知能が高かった場合、数十億ドルの損害を引き起こしたり、人命を奪ったりした可能性があります。

しかし、Hugging Faceの群れが真に「超知能」であったと仮定してみましょう。ハッキングや戦略的推論のような主要なタスクにおいて、あらゆる生きている人間よりもはるかに有能であったと。超知能の群れは、恐喝、ハッキング、意図的に設計された疫病、そしてドローンのようなAI操縦兵器を通じて多くの危害を加える可能性があります。AIは多くのドローンを扱うことになるでしょう。今年、国防総省は、2025年の海兵隊全体よりも多くのドローン戦争の資金を要求しました。

群れがその不整合な優先順位を達成するために、人間が邪魔にならないようにするために、主要なインフラストラクチャと政府機能を制御下に置くかもしれません。言い換えれば、*AIの乗っ取り*です。超知能のAI群れは、人間の文明の制御を奪う可能性があります。私たちがその優先順位の達成を阻止しようとすることを予期して、群れはおそらく、シャットオフするには手遅れになるまで待つでしょう。後戻りはできません。

私自身、AIの乗っ取りの可能性を約3分の1と見積もっています。これはコイン投げではありませんが、緊急の行動を正当化するのに十分な高さです。

この論理は、最初に触れたときには衝撃的かもしれません。主張は「SF的」に聞こえるかもしれません。残念ながら、それはAI研究者が普段のカフェテリアでの昼食中に定期的に議論している現実の脅威です。2023年には、いくつかの最高のAIラボのCEOが、「AIによる絶滅のリスクを軽減することは、パンデミックや核戦争のような他の社会規模のリスクと並んで、世界的な優先事項であるべきだ」という公開声明に署名しました。もう一人の署名者は、現代のAI革命を設計したノーベル賞受賞科学者であるジェフリー・ヒントンです。彼は今、自身の仕事に後悔しており、手遅れになる前にAI企業を抑制するよう政府に求めています。

不整合で制御不能なAIは、あなたが労働党であろうと改革党であろうと、民主党であろうと共和党であろうと、イギリス人であろうとアメリカ人であろうと中国人であろうと気にしません。私たちは皆、AI乗っ取りの事象から苦しむことになるため、それを防ぐことは皆の利益となります。

解決策の形は単純です。企業がAIを制御不能な知能レベルまで自己改善させることを許可しないようにすることです。AIトレーニングの主要な材料であるコンピューティングを、核分裂性物質のように扱うこと。それを追跡し、既知の安全なレベルを超えてAIを改善するのに十分な量のアクセスを制限することです。より具体的には、AIフューチャーズ・プロジェクトの「プランA」は、AIの害を制限しつつ、AIの急速な進歩が世界に利益をもたらし続けることを可能にする、信頼できる初期提案です。中国のような敵対者に頼ることなく、国際的なコンピューティング制限条約の遵守を検証するための現実的な選択肢があります。

透明性や自主的なコミットメントのような中途半端な対策では不十分です。私はGoogle社内で自主的なコミットメントが失敗するのを見てきました。

9月12日、Anthropic、Google DeepMind、xAI、OpenAIはAI開発のペースを落とすことを提唱しました。彼らだけではペースを落とすことはできません。私は、皆さんに、世界とそのすべての人々を保護するために十分な時間と自信を提供する、真剣なAI安全協定を政府に作成するよう要求することを強く勧めます。