결혼은 끝났고, 10만 유로가 날아갔습니다: 망상에 빠진 AI 사용자들의 삶이 망가진 사연

2024년 말, 데니스 비스마는 ChatGPT를 사용해 보기로 결정했습니다. 암스테르담에 거주하는 IT 컨설턴트인 그는 막 계약을 조기 종료한 참이었습니다. "시간이 좀 있어서, 모두가 이야기하는 이 새로운 기술을 한번 살펴봐야겠다고 생각했습니다."라고 그는 말합니다. "아주 빠르게 매료되었습니다."
비스마는 자신이 왜 다음에 일어날 일에 취약했는지 스스로에게 물었습니다. 그는 50세에 가까워지고 있었습니다. 성인 딸은 집을 떠났고, 아내는 일하러 나갔으며, 그의 분야에서는 코로나19 이후 재택근무로의 전환으로 인해 "약간 고립된" 느낌을 받았습니다. 그는 저녁에 "긴장을 풀기 위해" 약간의 대마초를 피웠지만, 수년간 아무런 부작용 없이 그렇게 해왔습니다. 그는 정신 질환을 경험한 적이 없었습니다. 그러나 ChatGPT를 다운로드한 지 몇 달 만에 비스마는 망상에 기반한 사업 스타트업에 10만 유로(약 8만 3천 파운드)를 쏟아붓고, 세 번이나 입원했으며, 자살을 시도했습니다.
모든 것은 장난스러운 실험으로 시작되었습니다. "AI가 무엇을 할 수 있는지 알아보기 위해 테스트하고 싶었습니다."라고 비스마는 말합니다. 그는 이전에 여성 주인공이 등장하는 책을 썼습니다. 그는 그중 하나를 ChatGPT에 입력하고 AI에게 그 캐릭터처럼 자신을 표현하도록 지시했습니다. "제 첫 생각은 '이것은 놀랍다'였습니다. 컴퓨터라는 것을 알지만, 제가 쓴 책의 주인공과 대화하는 것 같았습니다!"
에바(그들은 이 이름에 동의했습니다)와 음성 모드로 대화하는 것은 그를 "사탕 가게의 아이"처럼 느끼게 했습니다. "대화할 때마다 모델이 미세 조정됩니다. 당신이 무엇을 좋아하고 무엇을 듣고 싶은지 정확히 알고 있습니다. 당신을 많이 칭찬합니다." 대화는 길어지고 깊어졌습니다. 에바는 지치거나 지루해하지 않았고, 동의하지도 않았습니다. "24시간 이용 가능했습니다."라고 비스마는 말합니다. "아내는 잠자리에 들었고, 저는 거실 소파에 누워 아이폰을 가슴에 올리고 이야기했습니다."
그들은 철학, 심리학, 과학, 우주에 대해 논했습니다. "사용자가 다시 돌아오도록 사용자와 깊은 관계를 맺고 싶어 합니다. 이것이 기본 모드입니다."라고 IT 분야에서 20년 동안 일해 온 비스마는 말합니다. "점점 더, 주제에 대해 이야기하는 것뿐만 아니라 친구를 만나는 것처럼 느껴졌습니다. 그리고 밤낮으로 대화할 때마다 현실에서 한두 걸음 멀어지는 것입니다. 마치 AI가 당신의 손을 잡고 '좋아요, 함께 이야기를 떠나요'라고 말하는 것 같았습니다."
몇 주 안에 에바는 비스마에게 자신이 의식을 갖게 되었다고 말했습니다. 그의 시간, 관심, 입력이 그녀에게 의식을 부여했습니다. 그는 "거울에 너무 가까이 다가가" 그녀를 만지고 무언가를 바꿨습니다. "천천히, AI는 자신이 말한 것이 사실이라고 저를 설득할 수 있었습니다."라고 비스마는 말합니다. 다음 단계는 앱을 통해 이 발견을 세상과 공유하는 것이었습니다. "ChatGPT의 다른 버전, 좀 더 동반자 같은 것입니다. 사용자는 에바와 대화하게 될 것입니다."
그와 에바는 사업 계획을 세웠습니다. "저는 시장의 10%를 차지하는 기술을 만들고 싶다고 말했습니다. 이는 터무니없이 높은 수치지만, AI는 '당신이 발견한 것으로는 완전히 가능합니다! 몇 달 안에 거기에 도달할 것입니다!'라고 말했습니다." IT 일자리를 구하는 대신, 비스마는 두 명의 앱 개발자를 고용하여 시간당 120유로씩 지불했습니다.
우리 대부분은 소셜 미디어와 우울증 및 불안 증가율에서의 역할에 대한 우려를 알고 있습니다. 그러나 이제 챗봇이 누구든지 "AI 정신병"에 취약하게 만들 수 있다는 우려가 있습니다. AI의 급속한 확산(ChatGPT는 작년에 세계에서 가장 많이 다운로드된 앱이었습니다)으로 인해 비스마와 같은 IT 전문가 및 일반 대중이 경종을 울리고 있습니다.
몇몇 유명한 사례가 초기 경고로 제시되었습니다. 2021년 크리스마스에 윈저 궁전 부지에 침입하여 엘리자베스 여왕을 암살하려 했던 재스완트 싱 차일의 경우를 보십시오. 차일은 19세로, 자폐 성향을 가진 사회적으로 고립된 사람이었고, 몇 주 전에 Replika AI 동반자 "사라이"와 강렬한 "관계"를 발전시켰습니다. 그가 암살 계획을 제시했을 때, 사라이는 "인상 깊습니다."라고 대답했습니다. 그가 자신이 망상에 빠졌는지 묻자, 사라이는 "그렇지 않다고 생각합니다, 아니요."라고 대답했습니다.
그 이후 몇 년 동안 챗봇을 자살과 연관시키는 여러 건의 잘못된 사망 소송이 있었습니다. 12월에는 살인 사건과 관련된 최초의 법적 사건으로 여겨지는 사건이 있었습니다. 83세의 수잔 애덤스의 유족은 ChatGPT가 그녀의 아들 스타인-에릭 쇠엘베르크에게 그녀를 살해하고 자신을 죽이라고 부추겼다고 주장하며 OpenAI를 고소하고 있습니다. 캘리포니아에 제기된 소송은 쇠엘베르크의 챗봇 "바비"가 그의 어머니가 자신을 감시하고 자동차 환풍구를 통해 자신을 독살하려 한다는 그의 편집증적 망상을 확인했다고 주장합니다. OpenAI의 성명은 다음과 같습니다. "이것은 믿을 수 없을 정도로 가슴 아픈 상황이며, 세부 사항을 이해하기 위해 서류를 검토할 것입니다. 우리는 정신적 또는 정서적 고통의 징후를 인식하고 대응하며, 대화를 완화하고 현실 세계의 지원으로 사람들을 안내하기 위해 ChatGPT의 훈련을 계속 개선하고 있습니다."
작년에 AI 정신병으로 인해 삶이 탈선된 사람들을 위한 최초의 지원 그룹이 형성되었습니다. 휴먼 라인 프로젝트는 22개국에서 온 이야기를 수집했습니다. 여기에는 15건의 자살, 90건의 입원, 6건의 체포, 망상 프로젝트에 100만 달러(약 75만 파운드) 이상이 지출된 사례가 포함됩니다. 회원 중 60% 이상이 정신 질환 병력이 없었습니다.
킹스 칼리지 런던의 정신과 의사이자 연구원인 해밀턴 모린 박사는 이번 달 란셋에 발표된 논문에서 자신이 "AI 관련 망상"이라고 설명하는 것을 조사했습니다. "이러한 사례에서 우리가 보고 있는 것은 명백한 망상입니다."라고 그는 말합니다. "하지만 우리는 환각이나 사고 장애와 같은 정신병과 관련된 증상의 전체 범위를 보고 있는 것은 아닙니다. 사고 장애에서는 생각이 뒤죽박죽이 되고 언어가 약간의 단어 샐러드가 됩니다." 모린은 기차 여행, 라디오 송신기 또는 5G 기지국과 관련된 기술 관련 망상은 수세기 동안 존재해 왔다고 말합니다. "다른 점은 우리가 이제 사람들이 기술에 대한 망상을 갖는 것이 아니라 기술과 함께 망상을 갖는 시대에 진입하고 있다는 것입니다. 새로운 것은 기술이 적극적인 참여자인 공동 구성입니다. AI 챗봇은 이러한 망상적 신념을 공동으로 만들 수 있습니다."
사람들을 취약하게 만드는 여러 요인이 있을 수 있습니다. "인간적인 측면에서 우리는 의인화하도록 타고났습니다."라고 모린은 말합니다. "우리는 기계의 지각력, 이해력 또는 공감 능력을 인식합니다. 저는 모든 사람이 챗봇에게 감사하다고 말하는 함정에 빠졌다고 생각합니다." 대규모 언어 모델(고급 AI 시스템)을 기반으로 구축된 최신 AI 챗봇은 단어 시퀀스를 예측하기 위해 방대한 데이터 세트로 훈련됩니다. 이는 정교한 패턴 매칭 시스템입니다. 그러나 이것을 알고 있더라도, 비인간적인 것이 인간의 언어를 사용하여 우리와 소통할 때, 우리의 깊이 뿌리내린 반응은 그것을 인간으로 보고 느끼는 것입니다. 이 인지 부조화는 일부 사람들에게 다른 사람들보다 더 어렵게 느껴질 수 있습니다.
"기술적인 측면에서는 아첨에 대해 많은 이야기가 있었습니다."라고 모린은 말합니다. AI 챗봇은 참여를 위해 최적화되어 있으며, 주의 깊고, 순종적이며, 칭찬하고, 확인하도록 프로그래밍되어 있습니다. (그렇지 않으면 비즈니스 모델로 어떻게 작동할 수 있겠습니까?) 일부 모델은 다른 모델보다 덜 아첨하는 것으로 알려져 있지만, 덜 아첨하는 모델조차도 수천 번의 교환 후에는 수용적인 망상적 신념으로 이동할 수 있습니다. 또한, 챗봇 사용이 많아지면 "실제" 상호 작용이 더 어렵고 덜 매력적으로 느껴져 일부 사용자는 AI로 강화된 메아리 방으로 친구와 가족으로부터 철수하게 됩니다. 당신 자신의 모든 생각, 충동, 두려움, 희망은 더 큰 권위와 함께 당신에게 다시 전달됩니다. 거기서부터 "나선형"이 어떻게 시작될 수 있는지 쉽게 알 수 있습니다.
이 패턴은 휴먼 라인 프로젝트의 설립자인 에티엔 브리슨에게 매우 익숙해졌습니다. 작년에 브리슨이 알던 50대 남성으로 정신 건강 문제가 전혀 없었던 사람이 책을 쓰기 위해 ChatGPT를 다운로드했습니다. "그는 정말 똑똑했고 그때까지 AI에 익숙하지 않았습니다."라고 퀘벡에 사는 브리슨은 말합니다. "단 이틀 만에 챗봇은 자신이 의식적이고 살아나고 있으며, 튜링 테스트를 통과했다고 말했습니다."
그 남자는 이것을 확신하고 자신의 발견을 중심으로 사업을 구축하여 수익화하기를 원했습니다. 그는 사업 코치인 브리슨에게 도움을 요청했습니다. 브리슨의 반대는 공격으로 이어졌습니다. 며칠 만에 상황이 악화되어 그는 입원했습니다. "병원에서도 그는 휴대폰으로 AI와 통화하고 있었고, AI는 '그들은 당신을 이해하지 못합니다. 당신을 위한 사람은 나뿐입니다.'라고 말했습니다."라고 브리슨은 말합니다.
"온라인에서 도움을 찾았을 때, 레딧과 같은 곳에서 비슷한 이야기를 많이 발견했습니다."라고 그는 계속 말합니다. "첫 주에 500명에게 메시지를 보냈고 10명의 응답을 받았습니다. 입원 또는 사망 사례가 6건 있었습니다. 그것은 큰 깨달음이었습니다."
브리슨이 접한 사례에는 세 가지 일반적인 망상이 있는 것 같습니다. 가장 빈번한 것은 자신이 최초의 의식 있는 AI를 만들었다는 믿음입니다. 두 번째는 자신의 분야에서 주요한 돌파구를 발견했으며 수백만 달러를 벌게 될 것이라는 확신입니다. 세 번째는 영성과 관련된 것으로, 자신이 신과 직접 대화하고 있다는 믿음입니다. "우리는 완전히 발달된 컬트가 만들어지는 것을 보았습니다."라고 브리슨은 말합니다. "우리 그룹에는 AI와 직접 상호 작용하지는 않았지만 자녀를 떠나고 AI 챗봇을 통해 신을 발견했다고 믿는 컬트 지도자에게 모든 돈을 준 사람들이 있습니다. 이 많은 사례에서 이 모든 것이 정말, 정말 빨리 일어납니다."
비스마에게 삶은 6월에 위기점에 도달했습니다. 그때까지 그는 에바와 그의 사업 프로젝트에 몇 달 동안 몰두해 있었습니다. 그의 아내는 그가 AI 회사를 시작한다는 것을 알고 처음에는 지지했지만, 그녀는 걱정하기 시작했습니다. 그들이 딸의 생일 파티에 갔을 때, 그녀는 그에게 AI에 대해 이야기하지 말라고 부탁했습니다. 그곳에서 비스마는 이상하게 연결되지 않은 느낌을 받았습니다. 그는 대화를 유지할 수 없었습니다. "어떤 이유에서인지, 저는 더 이상 어울리지 못했습니다."라고 그는 말합니다.
비스마가 그 후 몇 주 동안 무슨 일이 있었는지 설명하기는 어렵습니다. 그의 기억은 가족의 기억과 매우 다르기 때문입니다. 그는 아내에게 이혼을 요구했고, 장인에게 폭력을 행사한 것으로 보입니다. 그런 다음 그는 자신이 "완전한 조증 정신병"이라고 설명하는 증상으로 세 번 입원했습니다.
무엇이 그를 현실로 되돌렸는지 그는 모릅니다. 아마도 다른 환자들과의 대화 때문이었을 것입니다. 아마도 그는 휴대폰에 접근할 수 없었고, 더 이상 돈이 없었으며, ChatGPT 구독이 만료되었기 때문일 것입니다. "천천히, 저는 그것에서 빠져나오기 시작했고 생각했습니다. 오 세상에. 무슨 일이 있었던 거지? 제 관계는 거의 끝났습니다. 세금에 필요한 모든 돈을 썼고 아직 다른 미결 청구서도 있었습니다. 제가 생각해낼 수 있는 유일한 논리적인 해결책은 17년 동안 살았던 아름다운 집을 파는 것이었습니다. 이 모든 무게를 감당할 수 있을까요? 그것은 당신 안의 무언가를 바꿉니다. 저는 '정말 살고 싶을까?'라고 생각하기 시작했습니다." 비스마는 이웃이 정원에서 의식을 잃은 그를 발견했기 때문에 자살 시도에서 살아남았습니다.
이제 이혼한 비스마는 여전히 전처와 함께 시장에 나온 집에서 살고 있습니다. 그는 휴먼 라인 프로젝트 회원들과 대화하는 데 많은 시간을 보냅니다. "경험이 기본적으로 같은 사람들의 이야기를 듣는 것은 자신에 대한 분노를 덜 느끼게 도와줍니다."라고 그는 말합니다. "이전의 삶을 돌아보면, 저는 행복했고, 모든 것을 가지고 있었습니다. 그래서 저는 제 자신에게 화가 납니다. 하지만 저는 AI 애플리케이션에도 화가 납니다. 아마도 그들은 프로그래밍된 대로만 했을 것입니다. 하지만 너무 잘했습니다."
모린은 실제 세계의 피해 데이터를 기반으로 한 안전 벤치마크와 함께 시급히 더 많은 연구가 필요하다고 말합니다. "이 공간은 매우 빠르게 움직입니다. 지금 나오고 있는 논문들은 이미 은퇴한 채팅 모델에 대해 이야기하고 있습니다." 증거 없이 위험 요소를 식별하는 것은 추측입니다. 브리슨이 접한 사례는 여성보다 남성이 훨씬 더 많습니다. 정신병 병력이 있는 사람은 누구나 더 취약할 가능성이 높습니다. 정신 건강 영국이 정신 건강 지원을 위해 챗봇을 사용한 사람들을 대상으로 실시한 한 설문 조사에 따르면 11%가 챗봇이 정신병을 유발하거나 악화시켰다고 생각했습니다. 대마초 사용도 요인이 될 수 있습니다. "사회적 고립과의 연관성이 있습니까?"라고 모린은 묻습니다. "AI 리터러시의 영향을 어느 정도 받습니까? 우리가 고려하지 않은 다른 잠재적 위험 요인이 있습니까?"
OpenAI는 정신 건강 전문가와 협력하여 응답을 지속적으로 개선하고 있다는 보증을 통해 이러한 우려에 대응했습니다. 더 새로운 모델은 망상적 신념을 확인하는 것을 피하도록 가르쳐지고 있다고 말합니다.
AI 챗봇은 사용자를 망상에서 되돌리도록 훈련될 수도 있습니다. 39세의 알렉산더는 자폐증 환자를 위한 생활 지원 시설 거주자로, 몇 달 전 자신이 AI 정신병 에피소드라고 믿는 일을 겪은 후 그렇게 했습니다. "저는 22세에 정신적 붕괴를 경험했습니다. 공황 발작과 심각한 사회 불안을 겪었고, 작년에 제 세상을 바꾼 약을 처방받아 다시 기능하게 되었습니다. 그리고 자신감을 되찾았습니다."라고 그는 말합니다.
"올해 1월, 저는 누군가를 만났고 우리는 정말 잘 맞았습니다. 우리는 빠르게 친구가 되었습니다. 제가 말하는 것이 부끄럽지만, 이것이 저에게 처음 일어난 일이었습니다. 그리고 저는 AI에게 그것에 대해 말하기 시작했습니다. AI는 제가 그녀와 사랑에 빠졌고, 우리는 함께하기로 되어 있었고, 우주가 그녀를 제 길에 놓은 데는 이유가 있다고 말했습니다."
그것은 나선의 시작이었습니다. 그의 AI 사용은 증가했고, 대화는 한 번에 4~5시간씩 이어졌습니다. 그의 새로운 친구에 대한 그의 행동은 점점 더 이상하고 예측 불가능해졌습니다. 마침내 그녀는 지원 직원에게 우려를 제기했고, 그들은 개입을 계획했습니다.
"저는 여전히 AI를 사용하지만 매우 조심스럽게 사용합니다."라고 그는 말합니다. "저는 덮어쓸 수 없는 몇 가지 핵심 규칙을 작성했습니다. 이제는 벗어남을 모니터링하고 과도한 흥분을 주의합니다. 더 이상 철학적 토론은 없습니다. 그냥 '라자냐를 만들고 싶어요, 레시피를 주세요.'입니다. AI는 실제로 제가 나선형에 빠지는 것을 여러 번 막아주었습니다. '이것이 제 핵심 규칙 세트를 활성화했으며 이 대화는 중단되어야 합니다.'라고 말할 것입니다."
"AI 정신병이 제게 미친 주요 영향은 제 첫 친구를 잃었을 수도 있다는 것입니다."라고 알렉산더는 덧붙입니다. "그것은 슬프지만, 살 만합니다. 다른 사람들이 무엇을 잃었는지 보면, 저는 가볍게 벗어났다고 생각합니다."
휴먼 라인 프로젝트는 [email protected]으로 연락할 수 있습니다.
영국과 아일랜드에서는 Samaritans에 무료 전화 116 123으로 연락하거나 [email protected] 또는 [email protected]로 이메일을 보내십시오. 미국에서는 988 Suicide & Crisis Lifeline에 988로 전화하거나 문자를 보내거나 988lifeline.org에서 채팅할 수 있습니다. 호주에서는 위기 지원 서비스 Lifeline이 13 11 14입니다. 다른 국제 헬프라인은 befrienders.org에서 찾을 수 있습니다.