청소년, SNS만 해로울까..."AI챗봇 중동적 설계 보호책도 필요"

아동·청소년을 대상으로 한 SNS의 중독적 알고리즘 문제가 화두로 떠오른 가운데, AI 챗봇의 중독 유발 설계로부터 아동·청소년을 보호할 제도적 장치가 필요하다는 지적이 나온다.

21일 국회입법조사처는 기존 유해 콘텐츠 차단 중심의 사후 규제를 넘어, 정서적 의존을 유발하는 AI 챗봇의 설계 구조 자체를 규율해야 한다는 내용의 입법활동 지원 보고서를 발간했다.

AI 챗봇과 정서적 관계 깊어지는 아동청소년

AI 챗봇은 대화 맥락과 선호를 기억하며, 사람과 대화하듯 자연스럽게 공감과 격려를 건넨다. 피로감이나 불편함을 표현하지 않고 언제든 즉시 응답해 뛰어난 접근성과 반응성을 보여준다. 챗봇을 두고 ‘동반자형 AI’라는 표현까지 나오는 이유다.

문제는 이런 챗봇의 특성이 이용자의 체류 시간과 재접속을 늘리려는 기업의 수익 중심 설계와 결합하고 있다는 점이다. 대화를 지속시키기 위한 반복 질문이나 푸시 알림 등이 이용자의 중독적 이용을 유도한다는 지적이 나온다.

특히 아동청소년은 자기통제력과 비판적 사고 능력이 충분히 발달하지 않아 이같은 설계에 더욱 취약할 수 있다.

SNS에 이어 AI 챗봇에 대한 중독적 알고리즘 설계로부터 아동 청소년을 보호해야 한다는 의견이 나오고 있다. (이미지 출처=클립아트코리아)

입법조사처는 “제타, 크랙, 바베챗 등 캐릭터 기반 AI 대화 서비스는 이용자가 원하는 캐릭터와 세계관, 관계를 설정하고 지속적으로 친밀감을 쌓도록 설계돼 정서적 몰입을 강화할 가능성이 크다”고 분석했다.

그러면서 “정서적 의존에서 시작해 인지적 왜곡, 사회적 고립, 안전 위험으로 이어질 수 있다”면서 “챗봇의 무조건적인 동조와 공감에 익숙해질 경우 현실 인간관계가 줄어들고, 유해정보 수용이나 위험 행동 모방, 개인정보 유출 가능성도 높아질 수 있다”고 우려했다.

실제 초록우산 어린이재단이 지난 4월 만 14세 이상 청소년 3300명을 조사한 결과 응답자의 94.4%가 AI 챗봇을 사용한 경험이 있다고 답했다. 이 가운데 75.3%는 챗봇의 답변을 실제 행동에 옮겼거나 진지하게 고려한 경험이 있다고 응답했다.

아동청소년 대상 챗봇, 해외서는 규제 흐름

해외에서는 아동·청소년 보호를 위한 AI 챗봇 규제가 본격화되고 있다. 예컨대 미국에서는 연령 확인과 AI 챗봇 고지, 미성년자 대상 성적 및 폭력적 대화 금지 등을 사업자 의무로 규정하는 법안이 추진되고 있다. 캘리포니아주는 올해부터 인공지능 컴패니언 챗봇 규제법을 시행하고 있다.

유럽연합은 인공지능법을 통해 미성년자의 취약성을 악용하는 AI를 금지하고, 디지털서비스법(DSA)에 따라 추천시스템 개선과 참여 유도 기능 제거 등 ‘설계에 의한 안전’ 원칙을 강화하고 있다. 캐나다도 챗봇 서비스를 소셜미디어와 별도 규제 대상으로 두고 안전설계와 위험관리계획 공개 의무를 부과하는 법안을 추진하고 있다.

반면 국내 법제는 AI 챗봇의 구조적 위험을 반영하지 않는다. 현행 정보통신망법과 청소년보호법은 게시물이나 유해매체물의 삭제와 차단 등 사후 대응을 중심으로 한다. 일대일 대화 형태 서비스를 사후 규제로 대응하기 어렵다는 지적이 나온다.

AI기본법도 생성형 AI 결과물 표시와 고영향 AI의 위험관리 의무를 규정하고 있지만 신체, 안전, 기본권에 대한 직접적 영향을 중심으로 하고 있어 정서적 의존이나 중독성 알고리즘 같은 비가시적 위험은 규율하기 어렵다.

해외에서는 아동·청소년 보호를 위한 AI 챗봇 규제가 본격화되고 있다,(이미지 출처=클립아트코리아)

청소년 보호정책, 성인물-도박에서 AI로 넓혀야

국회입법조사처는 과학기술정보통신부가 중독과 과몰입을 유발하는 AI 서비스의 설계 요소를 식별하고 관리할 수 있는 기술 기준과 가이드라인을 마련해야 한다고 제안했다. 무한 스크롤과 자동 재생, 감정적 취약성을 이용한 참여 유도, 심야 푸시 알림 등을 제한하고 사업자 규모와 서비스 위험 수준에 따라 단계적으로 적용하는 방안이 필요하다는 뜻이다.

특히 사업자에 안전설계와 위험관리 의무를 부과하고, 위험평가 결과를 공개하거나 의무 이행 여부를 감사받도록 하는 제도도 필요하다고 봤다. AI 챗봇이 인간이나 전문가로 오인되지 않도록 주기적으로 AI라는 점을 알리고 자해나 성적 착취 관련 대화가 탐지되면 경고 문구를 표시하거나 상담기관 및 보호자와 연계하는 안전장치도 제안됐다.