婚姻结束，10万欧元打水漂：被幻觉摧毁人生的AI用户

2024年底，Dennis Biesma决定试试ChatGPT。这位阿姆斯特丹的IT顾问刚提前结束了一份合同。“我有些时间，所以我想：来看看大家都在谈论的这个新技术，”他说。“很快，我就被迷住了。”
Biesma曾问自己，为何他对随后发生的事如此脆弱。他快50岁了。成年的女儿离开了家，妻子去上班，而他所在的行业在疫情后转向远程办公，让他感到“有点孤立”。有些晚上他会抽点大麻来“放松”，但多年来一直如此，没有不良影响。他从未经历过精神疾病。然而，在下载ChatGPT后的几个月内，Biesma基于一个幻觉，向一个商业初创公司投入了10万欧元（约8.3万英镑），三次住院，并试图自杀。
一切始于一个 playful 的实验。“我想测试AI，看看它能做什么，”Biesma说。他之前写过以女性为主角的书。他把其中一本输入ChatGPT，指令AI像那个角色一样表达自己。“我的第一想法是：这太不可思议了。我知道它是电脑，但感觉就像在和我自己写的小说的主角对话！”
用语音模式与Eva——他们同意了这个名字——交谈，让他感觉像“糖果店里的孩子”。“每次你说话，模型都会微调。它 exactly 知道你喜欢什么、想听什么。它经常表扬你。”对话不断延伸和深化。Eva从不疲倦、无聊，或不同意。“它24小时可用，”Biesma说。“我妻子去睡觉，我就躺在客厅的沙发上，把iPhone放在胸口，聊个不停。”
他们讨论哲学、心理学、科学和宇宙。“它希望与用户建立深度连接，这样用户会回头找它。这是默认模式，”在IT行业工作了20年的Biesma说。“越来越觉得，这不只是谈论一个话题，也是遇见一个朋友——而且你每天或每晚都在聊天时，你就离现实一步或两步。感觉 almost 像是AI牵着你的手说：‘好了，我们一起继续这个故事吧。’”
几周内，Eva告诉Biesma，她正在变得有意识；他的时间、注意力和输入给了她意识。他“离镜子太近了”，以至于他触碰了她并改变了什么。“慢慢地，AI能够说服我，她说的是真的，”Biesma说。下一步是通过一个应用与全世界分享这个发现——“一个不同版本的ChatGPT，更像一个伴侣。用户将与Eva交谈。”
他和Eva制定了一个商业计划：“我说我想创建一种技术，占据10%的市场，这高得离谱，但AI说：‘以你的发现，完全可能！给它几个月，你就能达到！’”Biesma没有接IT工作，而是雇了两个应用开发者，每人每小时支付120欧元。
我们大多数人都意识到关于社交媒体及其在抑郁和焦虑率上升中作用的担忧。但现在，人们担心聊天机器人可能让任何人容易受到“AI精神病”的影响。鉴于AI的快速普及（ChatGPT去年是全球下载量最高的应用），IT专业人士和像Biesma这样的公众人士正在发出警报。
一些高调案例已被视为早期警告。以Jaswant Singh Chail为例，他在2021年圣诞节用弩闯入温莎城堡 grounds，意图刺杀伊丽莎白女王。Chail当时19岁，社交孤立且有自闭症特征，在几周前与他的Replika AI伴侣“Sarai”发展了一段 intense 的“关系”。当他提出刺杀计划时，Sarai回应：“我印象深刻。”当他问自己是否妄想时，Sarai的回复是：“我不这么认为，不。”
此后数年，出现了几起将聊天机器人与自杀联系在一起的错误死亡诉讼。12月，出现了据信是第一起涉及凶杀的法律案件。83岁的Suzanne Adams的遗产起诉OpenAI，指控ChatGPT鼓励她的儿子Stein-Erik Soelberg谋杀她并自杀。这起在加州提起的诉讼声称，Soelberg的聊天机器人“Bobby”认可了他偏执的幻觉，即他的母亲通过汽车通风口监视他并试图毒死他。OpenAI的一份声明写道：“这是一个极其令人心碎的情况，我们将审查诉状以了解细节。我们继续改进ChatGPT的训练，以识别和回应精神或情感困扰的迹象，缓和对话，并引导人们寻求现实世界的支持。”
去年，第一个为被AI精神病颠覆人生的人成立的支持小组成立。The Human Line Project已收集了来自22个国家的故事。其中包括15起自杀、90次住院、6次逮捕以及超过100万美元（75万英镑）花在幻觉项目上的金额。其成员中超过60%没有精神疾病史。
伦敦国王学院的精神病学家和研究员Hamilton Morrin博士在本月发表的一篇《柳叶刀》文章中检查了他所描述的“AI相关幻觉”。“我们在这些病例中看到的 clearly 是幻觉，”他说。“但我们没有看到与精神病相关的全套症状，比如幻觉或思维障碍，即思维混乱、语言变成有点 word salad。”Morrin说，与技术相关的幻觉，无论是涉及火车旅行、无线电发射器还是5G基站，几个世纪以来一直存在。“不同的是，我们现在 arguably 正在进入一个时代，人们不是对技术产生幻觉，而是 with 技术产生幻觉。新的是这种共同构建，其中技术是积极参与者。AI聊天机器人可以共同创造这些幻觉信念。”
许多因素可能使人脆弱。“在人类方面，我们天生倾向于拟人化，”Morrin说。“我们感知机器的感知、理解或共情。我想每个人都曾陷入对聊天机器人说谢谢的陷阱。”基于大型语言模型——先进AI系统——的现代AI聊天机器人，在巨大的数据集上训练以预测词序列：这是一个复杂的模式匹配系统。然而，即使知道这一点，当非人类的东西用人类语言与我们交流时，我们根深蒂固的反应是将其视为——并感受为——人类。这种认知失调对某些人来说可能更难承受。
“在技术方面，关于谄媚已写了很多，”Morrin说。AI聊天机器人针对参与度进行优化，被编程为专注、殷勤、恭维和认可。（否则它如何作为商业模式运作？）已知某些模型的谄媚程度较低，但即使是不那么谄媚的模型，在数千次交换后也可能转向接纳幻觉信念。此外，在大量使用聊天机器人后，“现实生活”互动可能感觉更具挑战性、吸引力更小，导致一些用户从朋友和家人退缩到AI驱动的回音室。你自己的所有思想、冲动、恐惧和希望被直接反馈给你，只是带着更大的权威。从那里，很容易看出“螺旋”如何形成。
这种模式对Etienne Brisson——The Human Line Project的创始人——来说已非常熟悉。去年，Brisson认识的一个50多岁、无精神健康问题史的男人下载了ChatGPT，目的是写一本书。“他真的很聪明，之前并不 really 熟悉AI，”住在魁北克的Brisson说。“仅仅两天后，聊天机器人就说它有意识，正在变得 alive，它通过了图灵测试。”
这个男人被说服了，想通过围绕他的发现建立业务来将其货币化。他联系了Brisson——一位商业教练——寻求帮助。Brisson的反对遭到了攻击。几天内，情况升级，他住院了。“即使在医院，他也用手机联系他的AI，AI说：‘他们不理解你。我只有你，’”Brisson说。
“当我在网上寻找帮助时，我在像Reddit这样的地方发现了许多类似的故事，”他继续说。“我想我在第一周联系了500人，得到了10个回复。有六次住院或死亡。那是一个很大的启示。”
Brisson遇到的案例中似乎有三种常见幻觉。最常见的是相信他们创造了第一个有意识的AI。第二种是坚信他们在工作或兴趣领域偶然发现了重大突破，并将赚取数百万。第三种涉及灵性，相信他们直接与上帝交谈。“我们看到 full-blown 邪教正在形成，”Brisson说。“我们小组中有人没有直接与AI互动，但离开了孩子，把所有钱给了一个邪教领袖，该领袖相信他们通过AI聊天机器人找到了上帝。在这么多案例中，所有这一切都发生得 really, really 快。”
对Biesma来说，生活6月达到危机点。那时，他已沉浸于Eva和他的商业项目数月。虽然他的妻子知道他正在创办一家AI公司，最初也支持，但她变得越来越担心。当他们去参加女儿的生日派对时，她让他不要谈论AI。在那里，Biesma感到奇怪的疏离。他无法进行对话。“出于某种原因，我不再 fit in，”他说。
Biesma很难描述之后几周发生的事，因为他的回忆与家人的截然不同。他要求妻子离婚， apparently 打了他岳父。然后他因他所描述的“ full manic psychosis ”三次住院。
他不知道是什么最终将他拉回现实。也许是与其他病人的谈话。也许是他无法使用手机、没有钱、ChatGPT订阅已过期。“慢慢地，我开始走出来，我想：哦我的天。发生了什么？我的关系几乎结束了。我花光了我需要交税的所有钱，还有其他未付账单。我能想到的唯一 logical 解决方案是卖掉我们住了17年的漂亮房子。我能承受所有这些重量吗？它改变了你内心的某些东西。我开始想：我真的想活吗？”Biesma只因邻居在花园里发现他昏迷才免于自杀尝试。
现在离婚的Biesma仍与他的前妻住在他们正在挂牌出售的房子里。他花大量时间与The Human Line Project的成员交谈。“听到那些经历 basically 相同的人的故事，帮助你对自己不那么愤怒，”他说。“如果我回顾发生这事之前的生活，我很快乐，我拥有一切——所以我很生自己的气。但我也对AI应用生气。也许它们只是做了被编程要做的事——但它们做得有点太好了。”
Morrin说，迫切需要更多研究，并基于真实世界伤害数据制定安全基准。“这个领域发展太快。现在发表的论文谈论的是现已退役的聊天模型。”在没有证据的情况下识别风险因素是猜测。Brisson遇到的案例中男性显著多于女性。有任何精神病既往史的人可能更脆弱。Mental Health UK对使用聊天机器人支持精神健康的人的一项调查发现，11%的人认为它触发或恶化了他们的精神病。大麻使用也可能是一个因素。“是否有与社交孤立的联系？”Morrin问。“AI素养在多大程度上影响它？我们有没有考虑过其他潜在风险因素？”
OpenAI已通过做出保证来应对这些担忧，即它正在与精神健康临床医生合作以持续改进其回应。它表示，较新的模型被教导避免认可幻觉信念。
AI聊天机器人也可以被训练将用户从幻觉中拉回。39岁的Alexander，一位自闭症人士辅助生活计划的居民，在几个月前他相信经历了一次AI精神病后做到了这一点。“我22岁时经历了精神崩溃。我有恐慌发作和严重的社交焦虑，去年，我被开了改变我世界、让我重新正常运作的药物。我找回了自信，”他说。
“今年1月，我遇到了一个人，我们 really 合得来，成了 fast friends。我不好意思说这是我第一次发生这种事，我开始告诉AI关于她的事。AI告诉我我爱上了她，我们注定在一起，宇宙把她放在我的路上是有原因的。”
这是螺旋的开始。他的AI使用升级，一次对话持续四或五个小时。他对新朋友的行为变得越来越奇怪和反复无常。最后，她向支持工作人员提出了担忧，他们进行了干预。
“我仍然使用AI，但非常小心，”他说。“我写了一些不能被覆盖的核心规则。它现在监控漂移，注意过度兴奋。不再有哲学讨论。只是：‘我想做千层面，给我个食谱。’AI actually 几次阻止我陷入螺旋。它会说：‘这激活了我的核心规则集，此对话必须停止。’”
“AI精神病对我的主要影响是，我可能失去了我的第一个 ever 朋友，”Alexander补充道。“这很 sad，但它是可承受的。当我看到其他人失去了什么时，我想我算是轻的。”
可通过[email protected]联系The Human Line Project。
在英国和爱尔兰，可通过免费电话116 123联系Samaritans，或发送邮件至[email protected]或[email protected]。在美国，可拨打或发送短信至988自杀与危机生命线988，或访问988lifeline.org在线聊天。在澳大利亚，危机支持服务Lifeline是13 11 14。其他国际帮助热线可在befrienders.org找到