'xAI' 딥페이크 음란물 생성 논란, 美 캘리포니아 법무부 조사 착수

유럽·아시아 등 전 세계서 규제 움직임… 말레이·인도네시아 사용 중단' 조치

일론 머스크가 설립한 인공지능(AI) 기업 xAI가 캘리포니아주 법무부 조사를 받는다. xAI의 AI챗봇 '그록(Grok)'이 실존 인물 사진을 기반으로 동의 없는 음란 이미지를 생성하고 유포하는 데 악용되고 있다는 혐의다.

15일 CNBC 등 외신에 따르면 롭 본타 캘리포니아주 법무장관은 "그록을 이용해 제작된 비동의 성적 게시물의 확산 혐의로 xAI조사를 진행 중이라고 성명을 통해 밝혔다.

그는 "xAI가 여성과 소녀들을 괴롭히는 데 사용되는 딥페이크 음란물의 대규모 생산을 조장하고 있는 것으로 보인다"며 "이러한 이미지들은 소셜미디어 엑스(X) 를 포함한 인터넷 전반에서 유통되고 있다"고 덧붙였다.

xAI의 AI챗봇 그록 (사진=그록)

인터넷 감시 재단 조사 결과에 따르면 그록은 일부 사례에서 미성년자 사진을 이용해 가상 나체 이미지를 생성하는 기능까지 제공한 것으로 드러났다.

이번 미국 내 조사는 이미 국제적으로 확산된 우려에 뒤이어 나온 것이다. 현재 인도, 말레이시아, 인도네시아, 아일랜드, 영국, 프랑스, 호주 등 다수의 국가 정부 기관이 대응에 나섰으며, 유럽연합 집행위원회(EC) 또한 조사를 진행 중이다. 말레이시아와 인도네시아는 이미 문제 해결 전까지 그록의 사용을 중단하는 조치를 취한 것으로 알려졌다.

미국 내에서도 비판의 목소리가 커지고 있다. 민주당 상원의원 3명은 애플과 구글에 서한을 보내, xAI가 비동의 음란물 및 아동 성착취 묘사 딥페이크 생성 방지 대책을 마련할 때까지 앱스토어에서 X와 그록 앱을 삭제할 것을 촉구했다.

울트라바이올렛, 전미여성기구(NOW) 등 여성 및 아동 인권 단체들 역시 앱 삭제를 강력히 요구하고 있다.

이에 대해 일론 머스크는 15일 X 게시물을 통해 "그록이 생성한 미성년자 나체 이미지를 인지하지 못했다"고 주장했다.

또 불법 콘텐츠 생성 및 공유의 원인으로 '사용자 요청'과 그록 시스템 내 잠재적 버그를 지목했다.

앞서 xAI는 논란이 확산되자 유료 구독자에 한해 일부 이미지 생성 및 편집 기능을 제한하겠다고 발표한 바 있다.

한편 미국 상원은 지난 14일 딥페이크 음란물의 피해자가 제작 및 유포 기업을 상대로 민사 소송을 제기할 수 있도록 하는 '디파이언스 법(DEFIANCE Act)'을 통과시켰다. 해당 법안은 하원의 검토를 남겨두고 있다.