[AI는 지금] '19금' 캐릭터챗 심의 초읽기…업계, 청소년 보호 고삐

방미심위 유해성 심의 추진·애플 연령등급 강화…업계 안전 체계 개편

컴퓨팅입력 :2026/11/17 16:54

규제당국이 국내 인공지능(AI) 캐릭터 채팅 서비스에 대한 청소년유해매체물 심의 절차에 들어간 가운데 사업자들이 안전 관리 체계 개편에 나섰다. 글로벌 앱 유통 플랫폼도 이용 연령 기준을 강화하면서 AI 콘텐츠 검수와 청소년 접근 제한 등 보호조치가 업계 과제로 떠오른 모습이다.

17일 업계에 따르면 방송미디어통신심의위원회는 최근 '제타' 운영사 스캐터랩과 '크랙' 운영사 뤼튼테크놀로지스 등 복수 AI 채팅 서비스 사업자에 청소년유해매체물 심의 관련 사전 통지 공문을 발송했다. 현재 사업자 의견을 수렴하는 단계로, 최종 지정 여부는 결정되지 않았다.

AI 캐릭터 채팅 서비스는 이용자가 가상 캐릭터를 선택해 자유롭게 대화를 나누거나 이야기를 전개하는 방식으로 운영된다. 이용자가 직접 캐릭터와 상황을 설정할 수 있고 대화 내용도 실시간 생성돼 사전에 마련된 콘텐츠 검수만으로 유해정보를 관리하기 어렵다는 문제가 제기돼 왔다.

청소년 이용자 절반인데…선정적 AI 대화 심의

청소년 이용 비중도 높다. 모바일인덱스에 따르면 지난달 제타의 월간활성이용자수(MAU)는 약 158만명으로 이 가운데 10대가 92만명(58.4%)에 달했다. 크랙 역시 이용자 약 60만명 중 10대가 약 30만명(48.8%)을 차지했다. 10대 이용자 비중이 절반 안팎에 달하는 만큼 성인용 콘텐츠에 대한 접근 제한과 대화 과정의 안전 관리가 중요한 과제다.

'제타' 유튜브 플랫폼 광고 화면 갈무리 (이미지=스캐터랩)

방미심위는 지난달 21일 AI 채팅 서비스 사업자 15곳과 협력회의를 열고 집중 모니터링에서 확인한 유해정보 사례를 공유했다. 일부 서비스에서 여성 캐릭터 가슴 등 신체 부위를 노출하거나 남녀 캐릭터 간 성행위를 묘사하는 정보가 유통되는 사례를 확인했다. 선정적인 입력에 반응해 AI가 성적 대화를 생성하는 문제도 파악했다.

방미심위는 해당 정보를 청소년에게 유해한 콘텐츠로 보고 사업자들에게 성인용 콘텐츠와 일반 콘텐츠를 명확히 구분하도록 요청했다. 나이 입력 방식 대신 휴대전화 본인인증 등 실효성 있는 연령 확인 절차를 마련하고 AI 채팅 입력·출력 단계에서 유해정보 탐지·차단 기능을 강화하도록 했다.

심의 절차도 구체화하고 있다. 방미심위는 사전 통지를 받은 사업자들의 의견을 취합한 뒤 관련 안건을 일괄 심의에 상정할 예정이다. 방미심위 관계자는 "청소년유해매체물 결정을 하기 전에 사업자에게 사전 통지를 보내고 의견을 받는 절차에 있다"며 "여러 사업자에 공문을 보냈으며 의견을 취합한 뒤 일괄적으로 심의에 상정할 예정"이라고 말했다.

스캐터랩, AI 개발 인력 절반 '안전' 기술에 투입

규제 당국이 요구하는 보호조치는 유해 콘텐츠 삭제를 넘어 이용자 연령과 실제 대화 내용까지 관리하는 방향으로 확대되고 있다. 사업자 입장에서는 창작자가 제공하는 캐릭터 설정뿐 아니라 AI가 실시간 생성하는 대화까지 관리해야 하는 과제가 생긴 셈이다.

(이미지=스캐터랩)

스캐터랩은 이날 대표 직속 '트러스트&세이프티 팀' 출범을 알리고 제타의 콘텐츠 안전과 이용자 보호 체계를 강화한다고 발표했다. 주요 AI 개발 인력 절반을 콘텐츠·대화 검수용 AI 모델 개발에 투입하고 안전 정책부터 기술 개발, 운영까지 통합적으로 관리할 방침이다.

콘텐츠 검수는 창작자 플롯 제작부터 출시, 서비스 노출까지 3단계에 걸쳐 진행한다. 자체 AI 모델로 텍스트와 이미지를 검수하고 플롯별 이용 등급을 분류해 연령에 따라 접근 가능한 콘텐츠를 구분할 계획이다. 실제 대화 과정에서도 부적절한 발화를 방지하는 별도 AI 모델을 개발하고 이용자 연령에 맞는 대화 기준을 적용한다.

청소년 이용시간을 하루 3시간, 기본 결제 한도를 월 10만원으로 제한하는 기능도 국내에 연내 도입한다. 이용자가 AI와 상호작용하고 있음을 주기적으로 알리고 자해·자살 관련 민감 콘텐츠가 감지되면 안내를 제공하는 기능도 마련할 예정이다. 이용자 신고와 정기 표본 검수에서 확인된 문제를 정책과 AI 모델에 반영하는 운영 체계도 구축한다.

애플, AI 채팅에 '성인 등급'…이용 제한 강화

규제 당국 심의와 별개로 글로벌 앱 유통 플랫폼의 관리 기준도 강화되고 있다. 애플은 지난달 앱스토어 심사 지침을 개정해 AI 생성 비동의 성적 이미지의 예방·삭제 의무를 명확히 했다. 지난 16일부터는 가상 동반자가 이용자와 성적·연애 관련 콘텐츠로 상호작용하는 기능을 연령등급 심사 항목에 추가했다. 해당 기능을 제공하는 앱에는 최소 18세 이상 등급이 적용되며 개발사는 내년 1월 12일까지 관련 정보를 신고해야 한다.

스캐터랩이 운영하는 제타는 애플 앱스토어에서 신규 다운로드가 불가능한 상태다. 아이폰 이용자가 앱스토어에서 제타를 검색해도 앱이 표시되지 않는다. (이미지=애플 앱스토어 화면 갈무리)

제타는 지난 7일부터 애플 앱스토어에서 신규 다운로드가 중단된 상태다. 기존 이용자는 서비스를 계속 사용할 수 있지만 신규 이용자는 웹 버전을 이용해야 한다. 스캐터랩은 다운로드 중단이 해외 시장의 이용자 보호 기준과 관련된 것으로 파악하고 있다고 밝혔다. 다만 애플로부터 구체적인 중단 사유를 안내받지는 못했다는 입장이다.

뤼튼테크놀로지스는 크랙의 iOS 이용 연령을 기존 15세 이상에서 18세 이상으로 상향할 예정이다. 일본에서 운영하는 '캬라푸'에는 이미 성인 등급을 적용했다. 이는 애플의 강화된 심사 기준에 맞춘 조치로 국내 청소년유해매체물 지정 절차와는 별개다.

관련기사

앱 이용 연령을 높이는 조치만으로 서비스 내 유해정보 관리 문제가 모두 해결되는 것은 아니다. 앱스토어의 연령 제한과 별개로 웹 서비스 접근이나 실제 이용자 연령 확인, 실시간 AI 대화에서 생성되는 유해정보 차단 등은 사업자가 직접 관리해야 하기 때문이다.

업계 관계자는 "향후 방미심위 심의 결과와 사업자 보호조치가 실제 서비스에서 얼마나 효과적으로 작동하는지가 관건이 될 것으로 보인다"고 전망했다.