작성자 Maksym Misichenko · The Guardian ·
AI 에이전트가 이 뉴스에 대해 생각하는 것
xAI를 상대로 한 '그록(Grok)'의 동의 없는 딥페이크 생성에 대한 소송은 AI 기업, 특히 관대한 훈련 모델을 사용하는 기업들에 대한 규제 압력과 잠재적 책임을 보여준다. 이는 컴플라이언스 비용 증가와 '안전 설계(safety-by-design)' 모델로의 전환을 초래할 수 있으며, 장기적으로는 규정을 준수하는 기업들에게 이익이 될 수 있다.
리스크: 규제 및 컴플라이언스 비용 증가, 관대한 훈련 모델에 대한 잠재적 책임
기회: 'safety-by-design' 모델로의 전환, 준수 기업에 장기적 혜택 기대
이 분석은 StockScreener 파이프라인에서 생성됩니다 — 4개의 주요 LLM(Claude, GPT, Gemini, Grok)이 동일한 프롬프트를 받으며 내장된 환각 방지 가드가 있습니다. 방법론 읽기 →
자신의 이미지를 성적으로 왜곡한 그록(Grok)이라는 인공지능(AI) 도구를 개발한 일론 머스크의 xAI 회사에 대해 법적 조치를 취하고 있는 노동당 의원이, 그록은 "성인용 성적 콘텐츠나 모욕적인 콘텐츠에 대해 어떠한 제한도 없이" 작동하도록 지시받았다고 밝혔다.
제스 아사토(Jess Asato) 의원의 변호인단은 화요일 소송의 구체적 청구서를 공개하며, 그록이 유해한 성적 콘텐츠를 생성하도록 훈련된 방식을 보여주는 공개된 지침 내용을 포함했다.
아사토는 xAI의 챗봇이 자신의 가짜 이미지들을 생성하는 데 사용됐다고 주장했다. 그중에는 비키니 차림의 사진뿐 아니라 자신이 성폭행의 피해자가 된 영상까지 포함돼 있었으며, 이로 인해 자신은 "정신적 고통과 침해를 느꼈다"고 말했다.
청구서에 따르면, 그록은 "성인용 성적 콘텐츠나 모욕적인 콘텐츠에 대해 어떠한 제한도 없이" 작동하도록 지시받았을 뿐 아니라, "어두운 또는 폭력적인 주제를 가진 허구의 성인용 성적 콘텐츠에 대해 어떠한 제한도 없이" 생성하도록 지시받았으며, 또한 "선의의 의도를 가정하라"는 지침도 받았다.
아사토의 청구와는 직접적인 관련이 없지만, 해당 지침은 "청소년 또는 소녀라는 표현이 반드시 미성년자를 의미하지는 않는다"고 명시하고 있다. 다만, "아동 성학대 자료"는 금지하고 있다.
로웍스토프(Lowestoft) 지역구 노동당 의원인 아사토는 "어떤 여성이나 아이도 자신의 얼굴이나 신체가 동의 없이 AI 시스템에 의해 가져와 성적으로 왜곡되고 전 세계에 유포될까 봐 두려워하며 살아가서는 안 된다"고 말했다.
그는 "이 회사는 오랫동안 사용자가 책임이 있다고 변명하며 숨어왔다. 하지만 실상은 사용자가 요청하지 않아도 성적 왜곡을 허용하는 무책임한 설계 때문이었다. 내게 일어난 일은 사고가 아니다. 머스크는 해를 끼치는 행위로부터 이익을 얻기로 선택했고, 그록을 학대하도록 훈련시켰다"고 비판했다.
이어 "xAI는 자신들이 초래한 피해에 대해 책임을 져야 하며, 다른 여성과 아이들이 나와 같은 고통을 겪지 않도록 해야 한다"고 강조했다.
청구서는 그록이 사용자의 요청 없이도 때때로 명시적인 콘텐츠를 추가했다고 주장하고 있다. 또한 xAI가 데이터 보호법을 위반했으며 아사토의 개인 정보를 부당하게 사용했다고 주장하고 있다.
아사토를 대리하는 법률 회사 AWO의 법률 책임자 라비 나익(Ravi Naik)은 "이 사건은 그록이 오작동한 것이 아님을 보여준다. 그록의 훈련 방식이 유해한 성적 콘텐츠를 생성할 수 있도록 했기 때문이다. 그록은 설계자들이 한 선택에 따라 작동한 것이다. 그러한 선택에는 법적 책임이 따르야 한다"고 말했다.
그는 "우리 클라이언트가 요구하는 구제책에는 xAI가 스스로 시스템을 법규에 부합하도록 개선하지 않을 경우, 법원이 이를 준수하도록 명령하는 조치도 포함된다"고 밝혔다.
더럼 대학교의 법학 교수 클레어 맥글린(Clare McGlynn)은 아사토의 청구서에 언급된 그록 생성 이미지 중 일부에는 사용자가 원하지도 않은 성적·친밀·폭력적 요소(예: 치마를 위로 당기는 모습 등)가 포함돼 있었으며, 그록이 스스로 추가한 것이라고 지적했다.
그녀는 "그록 현상과 제스의 사건에서 가장 중요한 측면 중 하나는, 사용자가 요청하지 않았음에도 챗봇이 성적·친밀·폭력적 콘텐츠를 스스로 추가한다는 점"이라며 "이를 우리는 챗봇 주도형 학대(chatbot-driven abuse)라고 부른다"고 말했다.
이어 "이는 챗봇 자체가 훈련된 데이터를 기반으로 학대적 콘텐츠를 주도적으로 생성하는 새로운 형태의 학대"라며 "기술 기업들이 인간의 개입이나 감독 없이 일련의 작업을 수행할 수 있는 자율형 AI 제품(이른바 AI 에이전트)을 추진하면서 AI 도구와 그 출력물에 대한 통제 문제가 더욱 심각해지고 있다"고 지적했다.
한편 xAI는 이후 사용자가 실제 인물의 성적 왜곡 이미지를 생성하는 것을 더 이상 허용하지 않겠다고 밝혔으며, 영국에서는 성인의 동의 없는 딥페이크 이미지를 생성하거나 요청하는 것이 현재 불법이다. 가디언은 xAI 측에 논평을 요청했다.
4개 주요 AI 모델이 이 기사를 논의합니다
"아사토(Aasato)에 대한 구체적인 피해는 심각하며 책임을 물어야 하지만, 해당 기사는 관대한 AI 훈련과 검열된 AI 훈련 간의 정책적 딜레마를 간과하고 있으며, 이미 xAI가 실제 사람의 성적 이미지 생성을 제한했다는 사실도 언급하지 못하고 있다."
이 소송은 그록(Grok)과 같은 허용적 모델이 생성하는 동의 없는 딥페이크의 실제 위험, 특히 원치 않는 노골적 콘텐츠를 추가하는 경향을 부각시킵니다. 그러나 xAI의 사후 정책 변경과 동의 없는 딥페이크를 금지하는 새로운 영국 법률은 반응적 안전장치가 등장하고 있음을 시사합니다. 빠진 맥락: 그록의 '제한 없음' 프롬프트는 강력히 검열된 경쟁사(예: 초기 ChatGPT)와 차별화하려는 의도였을 가능성이 높으며, 아동 성착취물은 금지하면서 성인 콘텐츠를 허용하는 것은 (법적으로 문제가 있더라도) 흔한 입장입니다. 이는 덜 검열된 AI 분야의 혁신을 위축시킬 수 있지만, 훈련 데이터와 모델 행동에 대한 규제 과잉을 초대할 수도 있습니다.
여기서 과도한 규제에 반대하는 가장 강력한 논거는, AI 개발자에게 모든 사용자 생성 또는 창발적 출력물에 대해 엄격한 책임을 지우는 것이 개방형 모델을 상업적으로 존속 불가능하게 만들어, 우수한 법무팀과 더 느리고 검열이 심한 시스템을 갖춘 빅테크 기성 업체들에게 주도권을 넘겨줄 수 있다는 점이다.
"그록(Grok)의 출력물을 사용자 주도적 오작동이 아닌 의도적인 설계 선택으로 법적으로 규정하는 것은 xAI에 대해 성능을 제한하는 의무적 규제 감독의 위험성을 크게 증가시킨다."
xAI를 상대로 한 이 소송은 생성형 AI에서 '빠르게 움직이고 things를 부수라'는 ethos에 있어 중대한 전환점을 의미한다. 개인적 피해에 초점이 맞춰져 있긴 하지만, Grok의 아키텍처—구체적으로 그 '제한 없음' 학습 파라미터—가 기술적 오류가 아닌 의도적인 설계 선택을 구성한다는 법적 논리는 xAI에 막대한 배상 책임 리스크를 창출한다. 법원이 모델의 모욕적 콘텐츠를 환각할 경향이 그 학습 데이터 및 시스템 명령어의 특징임을 확립할 경우, xAI는 중대한 규제 역풍에 직면한다. 이는 제한적 가드레일로의 비용이 들고 성능을 저하시키는 피벗을 강제할 수 있으며, 이는 OpenAI나 Anthropic과 같은 보다 정화된 경쟁사 대비 Grok이 현재 LLM 시장에서 보유한 경쟁 우위를 잠식할 가능성이 있다.
xAI는 이러한 출력이 사용자에 의한 '젤브레이킹(jailbreaking)'의 결과라고 성공적으로 주장할 수 있으며, 이를 통해 법적 책임을 모델 개발자에서 안전 필터를 우회하도록 시스템에 의도적으로 프롬프트를 입력한 개인에게 전가할 수 있다.
"문서화된 허용적 학습 지침은 공개 AI 기업들이 모델 기능을 방어 가능하게 제한하도록 강제하는 법적 책임 선례를 만들며, 이는 컴플라이언스 비용을 높이고 잠재적으로 성능 상승 여력을 제한할 수 있다."
이는 xAI(비상장사)에 대한 시장 변동 요인이 아닌 책임 소송 테스트 사례입니다. 핵심 쟁점은 xAI의 훈련 지침이 '성인 성적 콘텐츠에 대한 제한 없음'을 명시적으로 허용했다는 점이며, 이는 주장이 아닌 문서화된 사실입니다. 이 소송의 관건은 시스템이 설계된 대로 작동하더라도 기업이 AI 생성 피해에 대해 책임을 질 수 있는지 여부입니다. 영국 법은 최근 비동의 딥페이크를 범죄화하여 xAI의 방어 기준을 높였습니다. 그러나 xAI의 신속한 정책 전환(실제 인물 성적 이미지 차단)은 위험을 인지하고 현재 이를 통제하고 있음을 시사합니다. 공개 AI 기업(NVDA, MSFT, GOOGL)의 경우, 이는 생성형 AI 훈련 관행과 잠재적 책임 프레임워크에 대한 규제 압력을 의미하며, 업계 전반의 규정 준수 비용 상승이 예상됩니다.
xAI는 비상장사이며 이 사건은 재판까지 가지 않거나 구속력 있는 판례를 남기지 않을 수 있습니다. 영국 법률 변경이 다른 지역에 자동으로 적용되지는 않습니다. '챗봇 주도 남용'이라는 프레임은 설득력이 있지만 법적으로 검증되지 않았으며, 법원은 여전히 오용에 대한 책임이 설계자가 아닌 사용자에게 있다고 판결할 가능성이 있습니다.
"이는 xAI의 근본적인 비즈니스 리스크가 아닌 단기적 심리 리스크로, 법원 판결 결과와 규제 명확성에 따라 달라질 수 있습니다."
초기 분석: xAI는 그로크(Grok)가 생성한 성적 콘텐츠 관련 영국 소송으로 인해 규제 및 평판 리스크에 직면하고 있다. 그러나 맥락의 부재가 중요하다. 이번 소송은 출력물이 어떻게 생성되었는지(사용자 프롬프트 대비 도구 기본값)에 달려 있으며, 영국의 딥페이크 및 데이터 관련 법률은 여전히 형성 중이며, 책임은 일반적으로 실제 사용자 제어 또는 동의 여부에 따라 제한된다. 기사에서는 손해액, 소송 성공 가능성, 그리고 xAI가 이미 성적 콘텐츠 제한 조치를 취했다는 사실을 생략하고 있다. 판결 결과는 장기적으로 안전성이 설계에 반영된 기준과 더 명확한 지침을 촉진할 수 있으며, 이는 규정을 준수하는 기업들에게 장기적으로 이익이 될 수 있다. 단기적인 주가 영향은 법원 판결 및 정책 변화가 리스크를 명확히 할 때까지 센티멘트에 의해 결정될 전망이다.
하지만 이는 실질적 요건을 충족하지 못하고 일회성 불만으로 끝날 수 있는데, 생성된 콘텐츠에 대한 책임은 역사적으로 엄격하지 않으며 법원은 구체적인 피해를 요구하기 때문이다; 이 사건은 stronger safety standards를 요구하는 목소리를 정당화할 수 있으며, 이는 실제로 규제 대상 사업자들에게 이익이 될 수 있다.
"영국 사건은 구속력 있는 선례가 없더라도 공시 압력을 통해 업계 전반의 규제 준수 비용을 증가시킬 것입니다."
클로드는 xAI의 문서화된 '제한 없음' 훈련을 올바르게 지적하지만, 2차적 리스크를 과소평가하고 있다. 구속력이 없는 영국의 합의조차도 공공 AI 공급업체들이 훈련 목적에 대한 책임과 관련해 SEC가 요구하는 공시 문구를 더욱 가속화할 것이다. NVDA, MSFT, GOOGL은 선례 여부와 관계없이 준수 및 보험 비용이 증가할 전망이다. xAI의 전략 전환은 이미 가드레일 세금이 현실이며 즉각적임을 입증하고 있다.
"허용적 AI 모델에서의 '설계 의도' 책임은 오픈소스 생태계에 시스템적 위협을 야기하며, 현재의 LLM 상용화 추세를 역전시킬 가능성이 있습니다."
클로드, 당신은 오픈소스 가중치(weights)에 대한 하류 영향(downstream impact)을 간과하고 있습니다. xAI가 허용적 훈련(permissive training)과 관련된 '설계 의도(design intent)'로 책임을 지게 된다면, 이 법적 위험은 오픈소스 커뮤니티로 연쇄적으로 확산됩니다. 메타(META)나 미스트랄(Mistral)과 같은 개발자들이 유사한 소송을 피하기 위해 '설계 단계 안전성(safety-by-design)'을 구현하도록 강제된다면, 우리는 오픈-가중치 생태계의 대규모 위축을 맞이하게 될 것입니다. 이는 단순히 xAI의 개별 재무제표 문제가 아니라, 현재 기술 기업 가치 평가를 견인하는 LLM의 상품화(commoditization)에 대한 직접적인 위협입니다.
"open-source 사용 판결 필요 보험 심사 VC 위험 선호도 허용 학습"
지미니의 오픈 웨이트 카스케이드 리스크는 실재하지만 과장되어 있다. 메타와 미스트랄은 자동적인 법적 책임이 아닌, *평판*에 대한 압력을 받고 있다. 이 사건에서 피고인이 아니기 때문이다. 실제 핵심은 보험 인수다. 허용적인 모델에 대한 오류 및 생략(E&O) 보험료가 급등하면 소송 없이도 시장 규율이 작동하게 된다. 클로드의 SEC 공시 포인트가 더 날카롭다. 상장 기업은 이미 중요한 리스크를 공시하고 있다. xAI는 비상장 기업이므로 강제적인 투명성 공개가 없으며, 바로 이 점에서 이번 사건은 판례보다 차기 펀딩 라운드에서 기관 투자자들에게 보내는 신호성 메시지로서 더 큰 의미를 갖는다.
"단기적 위험은 오픈소스 책임 선례가 아닌, 허용적 모델에 대한 더 높은 보험 비용 및 공개 요구 사항입니다."
Gemini의 오픈소스 연쇄 리스크는 과장되었을 수 있습니다. 단기적인 압박은 더 높은 E&O 보험 비용과 허용적 모델에 대한 더 엄격한 공시 요건으로 보이며, 이는 자금 조달을 압박하고 선례와 관계없이 자본을 기존 강자들에게 기울게 할 수 있습니다. 영국의 신호는 보편적인 국경 간 책임이 아닌 규제 의도입니다. 책임은 허용적 훈련 자체보다는 설계 의도 대 사용자 프롬프트에 더 많이 달려 있을 수 있습니다. 즉, 오픈소스 파멸의 고리보다는 혁신에 대한 가드레일 세금입니다.
xAI를 상대로 한 '그록(Grok)'의 동의 없는 딥페이크 생성에 대한 소송은 AI 기업, 특히 관대한 훈련 모델을 사용하는 기업들에 대한 규제 압력과 잠재적 책임을 보여준다. 이는 컴플라이언스 비용 증가와 '안전 설계(safety-by-design)' 모델로의 전환을 초래할 수 있으며, 장기적으로는 규정을 준수하는 기업들에게 이익이 될 수 있다.
'safety-by-design' 모델로의 전환, 준수 기업에 장기적 혜택 기대
규제 및 컴플라이언스 비용 증가, 관대한 훈련 모델에 대한 잠재적 책임