생성형 AI로 혐오 부추기는 극우세력…게시물 883개 분석해보니

영국의 전략대화연구소(ISD)가 발표한 보고서에 따르면, 독일의 극우 정당과 극우 세력들이 생성형 AI를 활용해 혐오 콘텐츠를 대량으로 제작하고 있는 것으로 나타났다. 이들은 기존의 극우 전략을 보완하는 수단으로 AI를 활용하며 EU의 디지털서비스법(DSA) 미준수를 악용하고 있다고 분석됐다. (☞ 보고서 바로가기)

AfD, AI 생성 콘텐츠 월 50건 이상 제작...정당 최대 활용 사례

연구진은 2023년 4월부터 2024년 11월까지 페이스북, 인스타그램, X(구 트위터), 틱톡, 유튜브 등에서 92개 계정이 제작한 AI 생성 콘텐츠 883개를 분석했다. 특히 독일의 극우 정당인 '독일을 위한 대안'(AfD)이 생성형 AI를 적극적으로 활용했다. AfD는 2024년 10월 한 달간에만 50개 이상의 AI 생성 콘텐츠를 게시했으며, 당의 공식 계정과 지역 계정, 개별 정치인들의 계정을 통해 콘텐츠를 확산시켰다.

플랫폼별 분석 결과, X에서는 전체 게시물의 23%, 인스타그램은 19%, 페이스북은 17%가 AI 생성 콘텐츠였다. 특히 극우 미디어 에이전시 Tannwald Media의 설립자 알렉산더 클라인이 AfD와 긴밀히 협력하며 AI 콘텐츠를 제작하고 있었다.

독일인 추방하자...극우 AI 콘텐츠의 14가지 내러티브 분석

연구진은 14개의 주요 극우 내러티브를 분석했다. 이 중 가장 빈번한 것은 금발 碧眼의 독일인을 미화하는 내용(122건), 이민자 추방을 주장하는 '재이주'(Remigration) 관련 내용(101건), 이민자들의 범죄를 부각시키는 내용(98건), 사회복지제도 악용을 주장하는 내용(92건) 등이었다.

이들의 내러티브는 크게 공격형, 미화형, 기타로 분류됐다. 공격형에는 난민·이민자 공격, 정치인 비하, LGBTQ+ 반대, 기후활동가 비난이 포함됐고, 미화형에는 '강한 독일'의 이미지화, 전통적 가치관 강조 등이 있었다. 플랫폼별로는 페이스북에서 반이민 내러티브가 41%로 가장 높았고, 인스타그램이 38%, 유튜브가 27%, X가 23%, 틱톡이 13%를 기록했다.

AI로 만든 극우 음악...102개 뮤직비디오 발견

연구진은 102개의 AI 생성 극우 음악 비디오를 발견했다. 구독자 9,000명의 한 유튜브 채널은 금발의 독일인들이 이민자들에게 위협받는 장면을 AI로 생성해 뮤직비디오로 제작했다. "칼을 들고 와서, 독일의 문 앞에 서 있네"와 같은 가사로 이민자들을 위협적으로 묘사했다. 또 다른 비디오는 무슬림 남성과의 교제를 경고하는 내용을 담고 있었다. 이러한 음악 콘텐츠들은 극우 단체의 정체성을 강화하고 추종자들의 소속감을 높이는 데 활용되고 있었다.

AI가 만든 완벽한 아리아인 여성...가짜 인플루언서의 실체

연구진은 3명의 AI 생성 여성 '인플루언서'를 발견했다. 22세의 기독교 여성이라고 주장하는 '라리사 바그너', AfD와 크렘린을 지지하는 '소피아의 세계', 16세 소녀를 표방하는 '금발의 반란자 라라' 등이다. 특히 '라리사 바그너'는 극우 매체 Compact Magazine의 인턴이라고 주장하며 자체 칼럼까지 운영하고 있었다. 이들은 극우적 내러티브를 여성의 관점에서 전달하며, 개인적인 정보를 공유하고 친밀감을 조성하는 방식으로 팔로워들과 유사 사회적 관계를 형성했다. 이들 AI 인플루언서의 게시물은 실제 참여도는 낮았으나(평균 '좋아요' 10개 미만), 팔로워들은 "AI로 만들어졌든 상관없다. 메시지가 중요하다"는 반응을 보였다.

플랫폼의 무대응...AI 콘텐츠 신고 192건 중 0건 조치

조사 결과, 극우 세력의 AI 생성 콘텐츠는 EU의 디지털서비스법(DSA)이 요구하는 AI 콘텐츠 라벨링 의무를 제대로 지키지 않고 있었다. 신고된 192개의 콘텐츠 중 한 달이 지나도록 플랫폼에서 라벨링된 게시물이 전혀 없었다. 페이스북의 AI 라벨링 비율은 3%, 인스타그램은 2%, X는 1% 미만이었으며, 틱톡이 14%로 가장 높았다. 유튜브의 경우 라벨링된 콘텐츠가 전혀 없었다.

정책적 제언: 플랫폼 규제 강화부터 선거 감시까지