AI 채팅서 성적 대화·선정적 캐릭터 확산...11월 심의

방미심위, 사업자 15곳에 청소년 보호 강화 요구

AI 채팅 서비스에서 선정적인 캐릭터와 성적 행위를 묘사하는 대화가 생성·제공되는 사례가 확인됐다. 방송미디어통신심의위원회는 청소년의 유해 콘텐츠 접근을 막기 위한 사업자 관리 실태를 조사하고 다음 달부터 본격적인 심의에 착수한다.

방미심위는 21일 서울 목동 방송회관에서 AI 채팅 서비스 사업자 15곳과 협력회의를 열고 유해 콘텐츠 차단과 청소년 보호조치 강화를 요청했다.

방미심위가 관련 서비스를 집중 점검한 결과 일부 AI 캐릭터의 이미지와 프로필, 상황 설명 등에 신체 부위를 과도하게 노출하거나 성적 행위를 암시하는 내용이 포함된 것으로 나타났다. 

여성 캐릭터를 성적 대상화한 사례도 확인됐다.

이용자가 캐릭터를 선택해 대화하는 과정에서도 문제가 드러났다. 선정적인 질문이나 입력에 AI가 반응하면서 신체 노출과 성적 행위를 구체적으로 묘사하는 콘텐츠를 생성한 것이다.

방송미디어통신심의위원회 (사진=지디넷코리아)

방미심위는 “AI 채팅 서비스는 사업자가 선정한 AI 모델과 캐릭터·대화 상황의 설정 방식 등에 따라 그 결과와 유해성 정도가 달라진다”고 지적했다.

이에 따라 이용자가 입력하는 내용과 AI가 생성하는 답변을 모두 점검할 수 있도록 유해정보 탐지·차단 기능을 강화하고, 신고 체계도 개선할 것을 요구했다.

청소년 이용 가능 콘텐츠와 성인용 콘텐츠를 명확히 구분하고 성인용 콘텐츠에는 청소년유해표시를 적용하도록 했다. 본인인증을 거치더라도 우회 접속으로 연령 제한이 무력화되지 않는지 지속적으로 확인할 필요가 있다는 점도 강조했다.

회의에 참석한 사업자들은 청소년 보호 필요성에 공감하면서도 스타트업의 인력과 운영 여건에 따른 어려움을 전했다.

방미심위는 사업자 의견을 검토한 뒤 서비스별 유해성 수준과 청소년 접근 제한 조치의 실제 작동 여부를 조사해 오는 11월 심의를 시작할 계획이다.