구글 "증오·혐오 일으키는 커뮤니티 콘텐츠 AI로 차단"

콘텐츠 모더레이션 도구 'AI튜티드' 오픈소스로 공개

구글이 테러리즘 등 극단적이고 폭력적인 행위를 선동하고 증오를 일으키는 콘텐츠를 차단하기 위해 인공지능(AI)을 도입한다.

23일 테크크런치 등 외신에 따르면 구글의 자회사 직소는 AI기반 콘텐츠 모더레이션 도구 'AI튜티드'를 오픈소스로 공개했다.

콘텐츠 모더레이션은 사용자 커뮤니티나 플랫폼에서 적합하지 않은 콘텐츠를 확인하고, 검토 및 조정, 제거하는 작업이다.

구글이 커뮤니티 내 혐오·증오 표현 등을 조정하기 위한 AI도구 'AI튜티드'를 공개했다(이미지=구글)

Al튜티드는 관리 인력이 부족한 중소규모 커뮤니티에서 콘텐츠 모더레이션을 보다 효율적으로 수행할 수 있도록 지원하는 AI기반 도구다. 구글 직소에서 개발하고 UN 산하 테크어게인스트테러리즘에서 유지 및 운영을 담당한다.

이 도구는 테크어게인스트테러리즘이 보유한 테러리스트 콘텐츠 분석 플랫폼을 통해 테러를 선동하거나 허위 정보를 유포하는 콘텐츠를 식별하고 표시한다. 기계학습을 활용해 유해한 단어나 글을 식별하고 이를 관리자에게 알릴 뿐 아니라 글 작성자에게도 더 나은 방식으로 글을 작성할 수 있도록 피드백을 제공한다.

이를 통해 관리자는 몇 번의 클릭만으로 신뢰할 수 있는 출처를 통해 게시글을 검증하고 조정해 안전하고 효율적으로 커뮤니티를 운영할 수 있다.

직소의 조사 결과에 따르면 온라인상 증오 표현은 전 세계적으로 심각하고 악화되는 문제다. 극단주의자들은 소셜 미디어 플랫폼을 통해 인종, 성별, 종교, 성 정체성, 이민, 국수주의 등을 소재로 분란을 조장하며 현실에서 증오 범죄 등 폭력적인 행동을 유도하고 사회적 혼란을 야기하고 있어 대책이 필요한 상황이다.

직소 측은 "지난 1년 다양한 플랫폼과 커뮤니티의 설립자와 운영자 등을 만나 조사한 결과, 온라인 테러리스트 및 극단주의 활동이 현실에 심각한 영향을 미칠 수 있다는 것을 발견했다"며 "하지만 많은 커뮤니티에서 이에 대한 심각성을 알아채지 못하거나 준비가 부족해 제대로 대처하지 못하는 것을 확인했다"며 AI튜티드를 공개한 이유를 밝혔다.

이어서 "비교적 성숙한 커뮤니티도 이러한 부정적인 활동을 사전에 파악할 수 있는 기반이 부족한 경우가 상당수"라며 "우리는 테러와 폭력적인 활동에 커뮤니티가 대응할 수 있도록 AI튜티드를 무료로 지원한다"고 설명했다.