"AI가 1차 차단, 맥락은 사람이 판단"…틱톡 TAC 가보니

[싱가포르=류승현 기자] 틱톡이 인공지능(AI) 기반 자동 심사와 현지 전문 인력을 결합해 유해 콘텐츠 확산을 차단하고 있다. 올해 1분기 국내에서 삭제한 영상 25만4399개 가운데 약 87%를 자동화 기술로 처리했고, 57.4%는 조회가 발생하기 전에 걸러냈다. 회사는 AI 탐지 범위를 넓히는 동시에 언어·문화적 맥락이 필요한 콘텐츠에 대한 인적 심사를 강화한다는 방침이다.

지난 11일 방문한 싱가포르 틱톡 아시아태평양 본사의 투명성·책임 센터(TAC)는 콘텐츠 심사와 추천 시스템의 작동 과정을 외부에 공개하는 공간이다. 현재 미국 워싱턴과 아일랜드 더블린, 싱가포르 등 세 곳에서 운영되며 아시아에서는 싱가포르가 유일하다.

모더레이션룸에서는 같은 물체도 사용되는 상황에 따라 판단이 달라지는 과정을 확인할 수 있었다. 음식을 자르는 조리용 칼에는 위험 표시가 붙지 않았지만, 사람을 위협하는 데 사용된 칼에는 경고가 떴다. 틱톡 관계자는 “위험한 물체가 등장했다는 이유만으로 콘텐츠를 제재하지는 않는다”며 “해당 물체가 어떤 행동에 사용되는지까지 함께 판단한다”고 밝혔다.

영상·음성·해시태그까지 분석…애매하면 사람에게

틱톡에 영상이 게시되면 머신러닝을 기반으로 한 1차 검수가 시작된다. 시스템은 영상과 음성, 화면 속 문구, 해시태그, 댓글, 외부 링크 등을 분석해 커뮤니티 가이드라인 위반 가능성을 분류한다.

위반 여부가 명확한 콘텐츠는 자동화 단계에서 삭제된다. 판단이 모호하거나 표현이 사용된 맥락을 살펴야 하는 콘텐츠는 전 세계 수천 명의 신뢰·안전 전문가에게 전달된다.

틱톡 관계자는 “모든 콘텐츠는 머신러닝 영역에서 1차 검수를 거친다”며 “문맥에 대한 이해와 사회·문화적 고려가 필요한 콘텐츠는 인적 심사로 넘어가고, 외부 전문가의 자문을 통해 심사 체계를 보완한다”고 설명했다.

틱톡 관계자가 회사의 머신러닝을 이용한 시스템에 대해 설명하고 있다.(사진=지디넷코리아)

기술만으로 모든 상황을 정확히 구분하기는 어렵다. 화면에 등장한 병이 술인지 콤부차인지, 흡연 장면 속 물체가 담배인지 대마인지에 따라 판단이 달라질 수 있다. 극단주의 단체의 상징과 일반적인 종교 문양처럼 형태가 비슷한 사례도 사람의 검토가 필요하다.

괴롭힘과 혐오 표현도 국가와 세대에 따라 의미가 달라질 수 있다. 틱톡은 전 세계에 동일한 커뮤니티 가이드라인을 적용하되 실제 심사에는 지역별 언어와 문화를 반영한다. 한국어 콘텐츠는 국내 언어와 문화에 대한 이해를 갖춘 인력이 검토한다.

올해 1분기 틱톡이 전 세계에서 삭제한 영상은 1억8401만개로 전체 게시물의 약 0.5%였다. 이 가운데 96.7%인 1억7801만개가 인적 심사 이전의 자동화 단계에서 탐지·삭제됐다. 이용자가 신고하기 전 삭제한 비율은 99.3%, 24시간 이내 삭제율은 94.4%로 집계됐다.

한국에서는 삭제 영상의 84.4%가 조회수 100회 이하일 때 내려갔다. 이용자 신고로 조치된 콘텐츠의 94.8%는 신고 후 2시간 안에 처리됐다.

AI의 판단에 오류가 있다고 생각하면 앱에서 이의를 제기할 수 있다. 올해 1분기 재검토를 거쳐 복원된 영상은 전 세계 883만8710개, 한국 2만6847개였다. 이용자는 ‘계정 확인’ 기능을 통해 최근 게시물 30개의 삭제·추천 제한 여부도 확인할 수 있다.

다만 자동 심사 시스템의 오탐률과 미탐지율은 공개하지 않고 있다. 틱톡 관계자는 “오탐률과 미탐지율은 별도로 집계·분석하는 지표가 아니어서 수치로 답변하기 어렵다”며 “복원 건수와 선제적 삭제율 등을 통해 집행 결과를 공개하고 있다”고 말했다.

추천도 안전심사부터…청소년 계정엔 50개 보호장치

콘텐츠 심사를 통과했다고 곧바로 이용자의 추천피드에 나타나는 것은 아니다. 추천 과정은 모더레이션과 큐레이션 등 두 단계로 나뉜다.

먼저 커뮤니티 가이드라인을 위반한 영상을 제외해 추천 가능 영상 풀을 만든다. 이후 시청 시간과 좋아요·댓글, 팔로우 여부, 영상의 문구·해시태그·음원, 이용자의 언어와 대략적인 위치 등을 바탕으로 영상과 이용자의 적합도를 계산한다.

추천피드는 정기적으로 갱신되는 8개 영상 묶음으로 구성된다. 기존 이용자에게는 과거 반응을 반영한 콘텐츠를 제공하고, 이용 기록이 없는 신규 가입자에게는 인기가 높으면서 안전성이 검증된 영상을 우선 노출한다.

틱톡 관계자는 “추천 알고리즘이 이용자의 취향을 정확히 알고 있는 것처럼 보이지만 사실은 수학”이라며 “시청 시간과 좋아요, 공유, 댓글 등 이용자의 반응을 수치로 바꿔 콘텐츠와 이용자의 적합도를 계산한다”고 강조했다.

필터버블을 막기 위한 장치도 적용된다. 시스템은 영상 간 유사도를 계산해 특정 주제나 크리에이터의 콘텐츠가 반복되면 다른 영상을 섞는다. 이용자는 ‘관심 없음’이나 키워드 필터를 통해 특정 유형의 영상 노출을 줄이고 추천 기록을 초기화할 수 있다.

청소년 계정에는 연령에 따라 50개 이상의 안전·개인정보 보호 설정이 자동으로 적용된다. 한국에서는 만 14세부터 가입할 수 있으며 14~15세 계정은 기본적으로 비공개로 설정된다. 다이렉트 메시지와 영상 다운로드를 이용할 수 없고, 본인이 제작한 콘텐츠도 추천피드에 노출되지 않는다.

만 18세 미만 이용자는 라이브 방송을 할 수 없으며 하루 60분의 스크린타임이 기본 적용된다. 오후 9시 또는 10시 이후에는 연령대별로 푸시 알림도 중단된다.