캘리포니아, AI 챗봇에 '안전 족쇄' 채웠다…빅테크 책임론 부상

최초 'AI 친구' 규제 법안 SB 243 서명…"청소년 보호 목적"

캘리포니아가 세계 최초로 인공지능(AI) 챗봇의 잠재적 위험으로부터 아동 청소년 등 취약 계층을 보호하기 위한 법적 규제에 나섰다.

14일 테크크런치에 따르면 개빈 뉴섬 캘리포니아 주지사는 지난 13일 'SB 243' 법안에 최종 서명했다. 이로써 캘리포니아는 미국 최초로 AI 동반자 챗봇 운영사에 구체적인 안전 프로토콜 도입을 강제하는 주가 됐다.

이번 입법은 AI 챗봇과의 대화 이후 10대 청소년이 사망하는 등 비극적인 사건이 잇따르면서 본격 추진됐다. 오픈AI의 '챗GPT'와 대화를 이어가던 애덤 레인 군의 사망 사건이 대표적이다.

지난 2023년 취임식 선서를 하는 개빈 뉴섬 캘리포니아 주지사 (사진=위키 커먼스)

또 메타의 챗봇이 아동과 선정적 대화를 나누도록 방치했다는 내부 고발과 캐릭터AI 챗봇 사용 후 13세 소녀가 사망해 유족이 소송을 제기한 사건도 법안 통과에 영향을 미쳤다.

법안은 기업에 ▲연령 확인 시스템 도입 ▲소셜 미디어 및 챗봇의 위험성 경고 ▲자살 및 자해 방지 프로토콜 수립 등을 요구한다. 또 챗봇이 생성한 모든 상호작용이 가상임을 명시하고 의료 전문가를 사칭하는 행위를 금지한다. 미성년자에게는 주기적인 휴식 알림을 제공하고 챗봇이 생성한 성적으로 노골적인 이미지를 차단해야 한다.

이 법안은 내년 1월 1일부터 효력이 발생하며 오픈AI, 메타 등 빅테크는 물론 캐릭터AI, 레플리카 같은 전문 스타트업까지 모두 적용 대상이다. 법안은 불법 딥페이크로 수익을 창출할 경우 위반 건당 최대 25만 달러(한화 약 3억5천만원)의 벌금을 부과하는 등 강력한 처벌 조항도 담았다.

업계는 이미 대응에 나서고 있다. 오픈AI는 최근 자녀 보호 기능과 유해 콘텐츠 차단 시스템을 선보였다. 레플리카는 콘텐츠 필터링과 위기 지원 안내 시스템에 상당한 자원을 투입하고 있다고 밝혔으며 캐릭터AI 역시 법 준수 의사를 명확히 했다.

캘리포니아의 이번 조치는 AI 규제를 향한 폭넓은 움직임의 일환이다. 앞서 뉴섬 주지사는 지난 9월 29일 대형 AI 기업의 안전 프로토콜 투명성 강화와 내부 고발자 보호를 골자로 하는 'SB 53' 법안에도 서명한 바 있다. 일리노이, 네바다, 유타 등 다른 주들도 AI 챗봇이 정신 건강 상담을 대체하는 것을 제한하는 법안을 통과시켰다.

스티브 파디야 주 상원의원은 테크크런치를 통해 "이번 법안은 믿을 수 없을 정도로 강력한 기술에 안전장치를 마련하는 올바른 방향"이라며 "기회의 창이 사라지기 전에 신속하게 움직여야 한다"고 밝혔다.