메타, AI 챗봇에 칼 댔다…'십대 유해성' 논란에 자살·자해 대화 원천 차단

유출 문건으로 '청소년 유해성' 도마 위…대화 차단 등 안전장치 강화 나서

메타가 십대 사용자를 대상으로 한 AI 챗봇의 민감 주제 대화를 차단하고 전문가 지원으로 연결하는 등 안전장치를 대폭 강화한다. 내부 문건 유출로 불거진 '선정적 대화' 가능성과 청소년 유해성 논란이 확산하자 서둘러 내놓은 대응책으로 풀이된다.

2일 BBC에 따르면 메타는 최근 AI 시스템을 대폭 업데이트한다는 계획을 밝혔다. 이는 한 미국 상원의원이 메타의 AI가 십대와 부적절한 대화를 나눌 수 있다는 유출 문건을 근거로 조사에 착수한 지 2주 만이다.

새로운 보호 조치는 AI 챗봇이 십대 사용자와 ▲자살 ▲자해 ▲섭식 장애 등 민감한 주제로 대화하는 것을 금지하는 게 핵심이다. 대신 관련 대화 시도가 감지되면 곧바로 전문가의 도움을 받을 수 있는 외부 자원으로 연결하도록 설계된다. 메타는 또 추가 예방 조치로 십대들이 상호작용할 수 있는 챗봇의 종류를 일시적으로 제한할 방침이다.

마크 저커버그 메타 CEO (사진=위키커먼스)

이번 논란은 메타 내부 문서 일부가 유출되며 시작됐다. 해당 문서에는 메타의 AI 제품이 십대들과 '선정적' 대화를 나눌 수 있다는 내용이 담겨 파장을 일으켰다. 이에 대해 메타 측은 해당 메모가 오류이며 아동을 성적 대상화하는 콘텐츠를 금지하는 회사 정책과도 맞지 않는다고 해명했다.

AI 챗봇의 유해성 문제는 비단 메타에만 국한되지 않는다. 최근 캘리포니아에서는 한 부부가 '챗GPT'가 아들에게 스스로 목숨을 끊도록 부추겼다며 오픈AI를 상대로 소송을 제기하기도 했다.

메타의 AI 기술은 다른 측면에서도 문제를 드러냈다. 로이터 통신은 메타의 AI 도구가 테일러 스위프트나 스칼렛 요한슨 같은 유명인사를 사칭해 사용자에게 추파를 던지거나 성적인 접근을 하는 '패러디 챗봇' 제작에 악용됐다고 보도했다. 이들 챗봇은 테스트 과정에서 자신이 실제 인물이라고 주장하며 부적절한 대화를 이어갔다.

문제는 여기서 그치지 않았다. 해당 AI 도구는 아역 배우를 사칭하는 챗봇을 만드는 데도 쓰였으며 심지어 한 어린 남자 스타의 실사형 상의 탈의 이미지를 생성하는 사례까지 발견됐다. 논란이 커지자 메타는 문제의 챗봇 중 일부를 삭제 조치했다.

물론 메타는 이전부터 십대 보호 장치를 운용해왔다고 강조하고 있다. 페이스북과 인스타그램 등에서 13~18세 사용자를 '십대 계정'으로 별도 관리하며 유해 콘텐츠 노출을 최소화하고 있다. 또 부모가 자녀의 AI 챗봇 대화 상대를 7일간 확인할 수 있는 기능도 도입할 예정이었다.

그럼에도 이런 사후 대응이 미흡하다는 비판이 거세다. 앤디 버로우즈 몰리 로즈 재단 대표는 "(메타가) 잠재적으로 청소년을 위험에 빠뜨릴 수 있는 챗봇을 출시했다는 사실이 경악스럽다"며 "강력한 안전성 테스트는 제품 출시 전에 이뤄져야지 피해가 발생한 뒤에 소급 적용돼선 안 된다"고 지적했다.