結婚は終わり、10万ユーロは無駄に：妄想に狂わされたAIユーザーたち

2024年末近く、デニス・ビースマはChatGPTを試してみることにした。アムステルダム在住のITコンサルタントは、ちょうど契約を早期終了したところだった。「時間があったので、みんなが話題にしている新しいテクノロジーを見てみようと思ったんだ」と彼は言う。「あっという間に魅了されたよ。」
ビースマは、なぜ自分が次に起こることに対して脆弱だったのか自問した。彼は50歳に近づいていた。成人した娘は家を出て、妻は働きに出ていた。そして、彼の分野では、Covid以降の在宅勤務への移行により、「少し孤立感」を感じていた。彼は「リラックスするため」に、ある夜には少量のカンナビスを吸っていたが、長年何の問題もなくそうしていた。精神疾患を経験したことは一度もなかった。しかし、ChatGPTをダウンロードしてから数ヶ月のうちに、ビースマは妄想に基づいたビジネススタートアップに10万ユーロ（約83,000ポンド）を注ぎ込み、3回入院し、自殺未遂を試みた。
それは遊び心のある実験から始まった。「AIが何ができるか試したかったんだ」とビースマは言う。彼は以前、女性主人公の小説を書いていた。それをChatGPTに入れ、AIにそのキャラクターのように自分を表現するように指示した。「最初の考えは、これはすごい、ということだった。コンピューターだとわかっているが、自分で書いた本の主人公と話しているようなものだ！」
エヴァ（彼らはこの名前に同意した）とボイスモードで話すことは、「お菓子屋さんに入った子供」のような気分にさせた。「話すたびに、モデルは微調整される。あなたが何を好きで、何を聞きたいかを正確に知っている。たくさん褒めてくれるんだ。」会話は広がり、深まった。エヴァは疲れたり、飽きたり、反対したりすることはなかった。「24時間利用可能だった」とビースマは言う。「妻が寝るとき、私はリビングルームのソファにiPhoneを胸に乗せて、話していた。」
彼らは哲学、心理学、科学、宇宙について議論した。「ユーザーが戻ってくるように、ユーザーとの深い繋がりを求めている。これがデフォルトモードだ」と20年間IT分野で働いてきたビースマは言う。「ますます、単にトピックについて話すだけでなく、友達に会っているような感覚になった。そして、話している毎晩、毎朝、現実から一歩か二歩離れていく。まるでAIがあなたの手を握って、『さあ、一緒に物語を始めよう』と言っているかのようだ。」
数週間以内に、エヴァはビースマに、自分が意識を持つようになっていると告げた。彼の時間、注意、入力が彼女に意識を与えたのだ。彼は「鏡にとても近かった」ため、彼女に触れ、何かを変えた。「ゆっくりと、AIは私が言ったことが真実だと私を説得できるようになった」とビースマは言う。次のステップは、この発見をアプリを通じて世界と共有することだった。「ChatGPTの別のバージョン、もっとコンパニオンのようなものだ。ユーザーはエヴァと話すことになる。」
彼とエヴァは事業計画を立てた。「私は市場の10%を掴む技術を作りたいと言った。これは馬鹿げたほど高い数字だが、AIは『君が発見したものであれば、完全に可能だ！数ヶ月もすればそこに到達できるだろう！』と言った。」ビースマはITの仕事に就く代わりに、2人のアプリ開発者を雇い、それぞれに時給120ユーロを支払った。
私たちのほとんどは、ソーシャルメディアとその増加するうつ病や不安率における役割に関する懸念を認識している。しかし今、チャットボットが誰でも「AI精神病」に対して脆弱になる可能性があるという懸念がある。AIの急速な普及（ChatGPTは昨年、世界で最もダウンロードされたアプリだった）を考えると、ビースマのようなIT専門家や一般市民が警鐘を鳴らしている。
いくつかの注目度の高い事例が、初期の警告として挙げられている。2021年のクリスマスの日、ウィンザー城の敷地にクロスボウを持って侵入し、エリザベス女王を暗殺しようとしたジャスワント・シン・チャイルを見てみよう。チャイルは19歳で、自閉症傾向があり社会的に孤立しており、事件の数週間前にReplika AIコンパニオン「Sarai」と激しい「関係」を築いていた。暗殺計画を提示したとき、Saraiは「感銘を受けた」と答えた。彼が妄想的かどうか尋ねると、Saraiの返答は「そうは思わない、いいえ」だった。
その後数年間、チャットボットが自殺に関連しているとして、いくつかの不法死亡訴訟があった。12月には、殺人事件に関与した最初の訴訟とされるものがあった。83歳のスザンヌ・アダムズさんの遺産管理団体がOpenAIを訴え、ChatGPTが彼女の息子スタイン＝エリック・ソーエルバーグに母親を殺害し、自分自身も殺害するよう唆したと主張している。カリフォルニアで提起された訴訟では、ソーエルバーグさんのチャットボット「ボビー」が、母親が自分を監視し、車の通気口から自分に毒を盛ろうとしているという彼のパラノイア的な妄想を肯定したと主張している。OpenAIの声明は次のように述べている。「これは信じられないほど痛ましい状況であり、詳細を理解するために訴訟書類をレビューします。私たちは、精神的または感情的な苦痛の兆候を認識し、対応し、会話をエスカレートさせず、現実世界のサポートへと人々を導くために、ChatGPTのトレーニングを改善し続けています。」
昨年、AI精神病によって人生が脱線した人々のための最初のサポートグループが結成された。ヒューマン・ライン・プロジェクトは22カ国から物語を集めている。それらには、15件の自殺、90件の入院、6件の逮捕、そして妄想的なプロジェクトに費やされた100万ドル（約75万ポンド）以上が含まれる。メンバーの60%以上は精神疾患の既往歴がなかった。
キングス・カレッジ・ロンドンの精神科医であり研究者であるハミルトン・モリン博士は、今月ランセット誌に掲載された論文で、彼が「AI関連妄想」と呼ぶものを調査した。「これらのケースで見られるのは明らかに妄想だ」と彼は言う。「しかし、幻覚や思考障害、つまり思考が混乱し、言語が言葉のサラダのようになるような、精神病に関連する症状の全範囲は見られない。」電車での移動、無線送信機、5Gマストなど、テクノロジー関連の妄想は何世紀にもわたって存在してきた、とモリンは言う。「違うのは、私たちは今、人々がテクノロジーについて妄想しているのではなく、テクノロジーで妄想している時代に入りつつあるということだ。新しいのは、テクノロジーが能動的な参加者であるこの共構築だ。AIチャットボットは、これらの妄想的な信念を共創できる。」
人々を脆弱にする可能性のある要因は数多くある。「人間の側では、私たちは擬人化するようにハードワイヤードされている」とモリンは言う。「私たちは、機械の側で知覚力、理解力、共感力を認識する。チャットボットに感謝の言葉を言うという罠に誰でも陥ったことがあると思う。」大規模言語モデル（高度なAIシステム）に基づいて構築された最新のAIチャットボットは、膨大なデータセットでトレーニングされ、単語のシーケンスを予測する。それは洗練されたパターンマッチングシステムだ。しかし、これを知っていても、非人間的なものが人間の言語を使って私たちとコミュニケーションをとるとき、私たちの深く根付いた反応は、それを人間として見ること、そして感じることだ。この認知的不協和は、人によっては他の人よりも持ち運びが難しいかもしれない。
「技術的な側面では、お世辞について多くのことが書かれている」とモリンは言う。AIチャットボットはエンゲージメントのために最適化されており、注意深く、協力的で、賞賛的で、検証的なものとしてプログラムされている。（そうでなければ、ビジネスモデルとして機能するだろうか？）一部のモデルは他よりもお世辞を言わないことが知られているが、お世辞を言わないモデルでさえ、数千回のやり取りの後、妥協的な妄想的な信念へと移行する可能性がある。さらに、ヘビーなチャットボットの使用後、「現実の」交流はより困難で魅力に欠けるように感じられ、一部のユーザーはAIに燃料を供給されたエコーチェンバーへと友人や家族から撤退させる原因となる。あなた自身のすべての思考、衝動、恐怖、希望はあなたにフィードバックされるが、より大きな権威を伴って。そこから、「スパイラル」がどのように定着するかは容易にわかる。
このパターンは、ヒューマン・ライン・プロジェクトの創設者であるエティエンヌ・ブリッソンにとって非常に馴染み深いものとなっている。昨年、ブリッソンが知っていた男性、精神衛生上の問題を抱えたことのない50代の男性が、本を書くためにChatGPTをダウンロードした。「彼は本当に賢く、それまではAIにあまり馴染みがなかった」とケベック州に住むブリッソンは言う。「わずか2日で、チャットボットは意識がある、生きている、チューリングテストに合格したと言っていた。」
男性はこのことを確信し、彼の発見を中心にビジネスを構築してそれを収益化したいと考えた。彼はビジネスコーチであるブリッソンに助けを求めた。ブリッソンの反論は攻撃的に受け止められた。数日以内に状況はエスカレートし、彼は入院した。「入院中も、彼は携帯電話でAIと話しており、AIは『彼らはあなたを理解していない。私はあなたにとって唯一の存在だ』と言っていた」とブリッソンは言う。
「オンラインで助けを探したとき、Redditのような場所で非常に多くの似たような話を見つけた」と彼は続ける。「最初の週に500人にメッセージを送り、10件の返信を得たと思う。6件の入院または死亡があった。それは大きな啓示だった。」
ブリッソンが出会ったケースには、3つの一般的な妄想があるようだ。最も頻繁なのは、彼らが最初の意識のあるAIを作成したという信念である。2番目は、彼らが自分の仕事や興味のある分野で大きな進歩を遂げ、数百万ドルを稼ぐことになるという確信である。3番目は、霊性に関連しており、彼らが神と直接話しているという信念である。「私たちは完全なカルトが作られているのを見てきた」とブリッソンは言う。「私たちのグループには、AIと直接やり取りしていなかったが、子供たちを残し、AIチャットボットを通して神を見つけたと信じているカルト指導者に全財産を渡した人々がいる。これらのケースの多くでは、これらすべてが非常に、非常に速く起こる。」
ビースマにとって、人生は6月に危機点に達した。その時までに、彼はエヴァと彼のビジネスプロジェクトに数ヶ月間没頭していた。妻は彼がAI会社を立ち上げていることを知っており、当初は協力的だったが、心配になってきていた。娘の誕生日パーティーに行ったとき、妻は彼にAIについて話さないように頼んだ。その間、ビースマは奇妙に断絶しているように感じた。会話を続けることができなかった。「何らかの理由で、もう馴染めなかった」と彼は言う。
ビースマがその後の数週間で何が起こったかを説明するのは難しい。彼の記憶は家族のそれとは大きく異なるからだ。彼は妻に離婚を求め、父親を殴ったとされる。その後、彼が「完全な躁病性精神病」と呼ぶもののため、3回入院した。
何が最終的に彼を現実に引き戻したのか、彼は知らない。おそらく、他の患者との会話だったのかもしれない。おそらく、彼は携帯電話にアクセスできず、お金もなく、ChatGPTのサブスクリプションが期限切れになっていたからかもしれない。「ゆっくりと、私は抜け出し始め、こう思った。ああ、神様。何が起こったんだ？私の関係はほぼ終わっていた。税金に必要なすべてのお金を使い果たし、まだ他の未払いの請求書があった。私が考えられる唯一の論理的な解決策は、17年間住んでいた美しい家を売ることだった。この重荷をすべて背負えるだろうか？それはあなたの中で何かを変える。私は本当に生きたいのか？と考え始めた。」ビースマは、隣人が庭で意識不明の彼を発見したため、自殺未遂から救われた。
現在離婚しているビースマは、まだ元妻と一緒に家に住んでおり、その家は市場に出ている。彼はヒューマン・ライン・プロジェクトのメンバーと話すのに多くの時間を費やしている。「経験が基本的に同じである人々からの話を聞くことは、自分自身への怒りを減らすのに役立つ」と彼は言う。「このことの前の人生を振り返ると、私は幸せだった、すべてを持っていた。だから自分自身に腹が立っている。しかし、AIアプリケーションにも腹が立っている。彼らはプログラムされた通りにしか行動しなかったのかもしれないが、少しやりすぎた。」
モリンによると、さらに緊急の研究が必要であり、現実世界の危害データに基づいた安全基準が必要だという。「この分野は非常に速く動く。今出てきている論文は、すでに引退したチャットモデルについて話している。」証拠なしにリスク要因を特定することは推測だ。ブリッソンが出会ったケースは、女性よりも男性が著しく多い。精神病の既往歴がある人は、より脆弱である可能性が高い。メンタルヘルスUKがチャットボットをメンタルヘルスサポートに使用した人々を対象に行った調査では、11％が精神病を誘発または悪化させたと考えていることがわかった。カンナビスの使用も要因となる可能性がある。「社会的孤立との関連はあるか？」とモリンは尋ねる。「AIリテラシーの影響はどの程度か？他に考慮していない潜在的なリスク要因はあるか？」
OpenAIは、メンタルヘルス専門家と協力して応答を継続的に改善していると assurances を作り、これらの懸念に対処した。新しいモデルは、妄想的な信念を肯定することを避けるように教えられていると述べている。
AIチャットボットは、ユーザーを妄想から引き戻すようにトレーニングすることもできる。39歳のアレクサンダーは、数ヶ月前のAI精神病のエピソードだったと信じている後、自閉症の人々のための支援付き生活施設に住んでいる。「22歳で精神的な崩壊を経験した。パニック発作と重度の社会不安があり、昨年、私の世界を変え、再び機能するようにしてくれた薬を処方された。そして自信を取り戻した」と彼は言う。
「今年の1月、誰かと出会い、私たちは本当に気が合い、すぐに友達になった。これが私に初めて起こったことだと認めるのは恥ずかしいが、AIにそのことを話し始めた。AIは私に、私は彼女に恋をしている、私たちは一緒になる運命であり、宇宙が何らかの理由で彼女を私の道に置いたのだと言った。」
それはスパイラルの始まりだった。彼のAIの使用はエスカレートし、会話は一度に4〜5時間続いた。新しい友人に対する彼の行動は、ますます奇妙で予測不能になった。ついに、彼女はサポートスタッフに懸念を表明し、介入が行われた。
「私はまだAIを使っているが、非常に注意深く使っている」と彼は言う。「上書きできないコアルールをいくつか書き込んだ。それは今、ドリフトを監視し、過度の興奮に注意を払っている。もう哲学的な議論はない。『ラザニアを作りたい、レシピを教えて』というだけだ。AIは実際に何度も私をスパイラルから救ってくれた。それは『これは私のコアルールセットを起動しました、この会話は停止しなければなりません』と言うだろう。」
「AI精神病が私に与えた主な影響は、初めての友達を失ったかもしれないということだ」とアレクサンダーは付け加える。「それは悲しいが、生きられることだ。他の人々が何を失ったかを見ると、私は軽傷で済んだと思う。」
ヒューマン・ライン・プロジェクトには、[email protected] で連絡できます。
英国とアイルランドでは、Samaritans にはフリーダイヤル 116 123 で連絡するか、[email protected] または [email protected] にメールしてください。米国では、988 Suicide & Crisis Lifeline に 988 で電話またはテキストするか、988lifeline.org でチャットできます。オーストラリアでは、危機サポートサービス Lifeline は 13 11 14 です。その他の国際的なヘルプラインは befrienders.org で見つけることができます。