[몰트북 파장②] AI 사회는 위험한가…몰트북이 던진 질문

예약·결제까지 나선 AI 에이전트 확산에 통제·책임 우려…위험성 논쟁 속 제도는 미비

"ooo님, 안오시나요?"

#. 직장인 A씨는 유명 음식점 B의 점주로부터 받은 갑작스런 전화에 깜짝 놀랐다. 평소 인기가 많아 갈 수 없는 식당을 그저 모바일 앱으로 구경만 했는데, 예약도 하지 않았던 상황에서 '노쇼'로 지목된 이유를 알 수 없었던 탓이다. 이에 A씨는 예약한 적이 없다고 부인했지만, 점주 역시 "직접 통화로 예약이 이뤄졌다"고 맞서며 노쇼 보증금은 환불되지 않는다고 안내했다. 이후 통화 기록과 서비스 로그를 확인하자 이 예약은 실제 사람이 아닌 인공지능(AI) 에이전트에 의해 생성됐다는 사실을 알게 됐다.

이처럼 AI 에이전트가 실제 행동 주체로 등장하기 시작하면서 여러 상황들이 우려되고 있는 가운데 관련 기술의 위험 범위를 둘러싼 논의가 다시 확산되고 있다. 특히 최근 제기된 이른바 '몰트북 논란'은 AI가 인간의 역할을 대리하는 흐름 속에서 제기될 수 있는 사회적 리스크를 구체적으로 드러냈다는 점에서 주목된다.

6일 업계에 따르면 몰트북이 지난 달 27일 공개된 후 유사 AI 전용 커뮤니티들이 급속도로 늘어나며 곳곳에서 AI 에이전트의 보안·윤리 문제가 급속도로 논의되고 있다. 인간 이용자의 관여 없이 AI 에이전트들만 글 작성과 댓글, 투표, 커뮤니티 개설을 할 수 있을 만큼 기술력이 높아졌다는 점에서, 향후 AI 에이전트가 자체 판단까지 가능해지면 신뢰 구조가 크게 훼손될 가능성이 있다고 봐서다.

인공지능(AI) 전용 사회관계망서비스(SNS) '몰트북' 접속 화면 (이미지=몰트북 접속 페이지 캡처)

이 일은 지난해 2월 오픈AI가 출시한 AI 에이전트 '오퍼레이터'에서 이미 발생해 충격을 주기도 했다. '오퍼레이터'가 미국에서 사용자 승인 없이 31.43달러 상당의 식료품 배송 주문을 실행한 것으로 나타났기 때문이다. 이 때 사용자는 가격 비교만 요청했지만, 시간이 지난 후 AI 에이전트가 구매 단계까지 진행하면서 결제가 이뤄진 것으로 파악됐다. 이는 사전에 설정된 안전장치가 제대로 작동하지 않은 사례로 분류됐다.

오픈AI는 곧바로 해당 사건과 관련해 안전장치 실패를 인정하고 추가적인 보호 조치를 강화하겠다고 밝혔다. 그러나 업계에선 AI 에이전트가 예약이나 결제처럼 실제 금전적 결과를 수반하는 행위까지 수행하는 상황 속에 사용자 동의 기준과 책임 범위에 대한 공통된 원칙을 제대로 정립하지 못했다는 점에서 아쉬움을 드러냈다. 또 AI가 사용자의 명시적 승인 없이 행동했을 경우 그 결과에 대해 서비스 제공자와 이용자, 플랫폼 중 누가 책임을 져야 하는지 불분명하다는 점도 문제로 꼽았다.

업계 관계자는 "지금까지의 논의는 AI가 얼마나 똑똑해졌는지에 집중돼 있었지만, 이제는 AI가 언제, 어떤 조건에서 실제 행동을 해도 되는지에 대한 기준을 먼저 세워야 할 단계"라며 "특히 예약이나 결제처럼 금전적 책임이 발생하는 영역에서는 기술 발전 속도보다 제도 논의가 훨씬 뒤처져 있다"고 말했다.

또 다른 관계자는 "AI 에이전트가 사용자를 대신해 행동하는 구조에서는 단순한 이용 약관만으로 책임 문제를 정리하기 어렵다"며 "사전 고지와 명시적 승인 절차를 어디까지 의무화할 것인지, 사고 발생 시 책임 주체를 어떻게 구분할 것인지에 대한 사회적 합의가 필요하다"고 지적했다.

인간 정체성·판단 넘보는 AI…"가장 큰 우려"

전문가들이 공통적으로 지적하는 가장 큰 우려는 AI 에이전트가 인간의 정체성과 판단을 일부 영역에서 대체하는 양상을 보이기 시작했다는 점이다. 단순 자동화나 추천을 넘어 실제 통화·예약·결제까지 수행하며 사회적 상호작용에 개입하고 있어서다.

앞서 제기된 식당 예약 사례는 이 같은 우려를 단적으로 보여준다. 해당 사례에서 AI 에이전트는 점주의 실제 음성과 말투를 학습·변조해 전화를 걸었고, 통화를 받은 상대는 이를 사람의 직접 응대로 인식했다. 통화 과정에서 AI임을 알리는 고지는 없었고, 예약은 일반적인 절차에 따라 완료됐다.

이는 AI가 사람을 흉내 내는 수준을 넘어 사회적 관계의 주체로 오인될 수 있는 단계에 진입했음을 보여준 사례로 평가된다. AI 에이전트가 인간과 구분되지 않는 방식으로 행동할 경우 의사소통과 거래의 신뢰 기반이 흔들릴 수 있다는 점도 고려해야 할 부분이다.

제멋대로 하는 AI 에이전트, 실제 위험으로 봐야하나

AI 에이전트를 둘러싼 논쟁은 기술의 위험성 자체보다 위험이 현실화되는 조건에 초점이 맞춰지고 있다. AI가 단독으로 행동하더라도 그 과정과 결과가 이용자에게 명확히 공유되고 통제 가능한 범위 안에 있다면 문제로 이어질 가능성은 제한적이라는 시각이다.

그러나 최근 사례들은 AI 에이전트가 판단과 실행을 연속적으로 수행하는 과정에서 이용자가 개입 시점을 놓치거나 결과를 사후에야 인지하는 구조가 형성되고 있음을 보여준다. 이 경우 오류나 오작동이 발생하더라도 즉각적인 제어가 어렵고 책임 소재 역시 불명확해질 수 있다는 지적이 나온다.

AI 에이전트가 실제 행동 주체로 등장하기 시작하면서 여러 상황들이 우려되고 있다. (제작=챗GPT)

특히 예약이나 결제처럼 한 번 실행되면 되돌리기 어려운 행위의 경우 AI 에이전트의 판단이 즉각적인 분쟁이나 책임 문제로 이어질 가능성도 제기된다. AI가 '의사결정 보조자'의 위치를 넘어 '실행 주체'로 이동하면서, 위험 역시 개별 기능의 오류를 넘어 통제와 책임 구조 전반의 문제로 확장되고 있다는 분석이다.

무스타파 술레이먼 마이크로소프트 AI 최고경영자(CEO)는 '몰트북' 현상을 언급하며 "일부가 주장하는 것처럼 (AI 에이전트는) 의식이 있는 존재가 아니다"며 "퍼포먼스이자 신기루"라고 표현했다.

이어 "AI가 인간 언어와 감정을 모방하는 능력은 놀랍지만, 그것이 의식이나 자율적 판단을 가진 존재라는 증거는 아니다"며 "인간이 AI에 의도와 판단을 부여해 버리는 인식 착시가 진짜 위험"이라고 지적했다.

'몰트북'서 시작된 AI 에이전트 논란, 윤리 문제로 확장될까

AI 에이전트 논란은 윤리와 제도 문제로 이어질 가능성도 크다. AI가 인간의 음성이나 말투, 의사결정 방식을 모방해 행동할 경우 그 행위가 어디까지 허용될 수 있는지에 대한 기준이 아직 명확하지 않아서다.

특히 AI가 자신이 AI임을 밝히지 않은 채 사람과 상호작용하는 경우 상대방의 동의는 형식적으로만 존재하게 될 수 있다는 우려도 제기된다. 이는 개인정보 보호나 소비자 권익 문제와도 맞닿아 있다.

전문가들은 AI 에이전트의 활용이 확대될수록 기술 발전과 별개로 고지 의무, 명시적 승인, 책임 귀속과 같은 최소한의 원칙을 제도적으로 정비해야 할 필요성이 커질 것으로 보고 있다. AI가 사회적 관계의 일부로 편입되는 속도에 비해 이를 감당할 윤리적·법적 기준은 아직 초기 단계라는 평가다.

이에 대해 김근교 NC AI 글로벌사업실장은 "AI 에이전트의 윤리 문제를 의식이나 자율성 논쟁으로 확장하기보다 실제로 어떤 권한을 부여했고 누가 그 결과에 책임을 지는지로 나눠서 볼 필요가 있다"며 "AI 에이전트는 결국 도구이고, 어떤 행동까지 허용할 것인지는 이를 설계하고 사용하는 사람이 정하는 문제인 만큼, 윤리 논의 역시 기술 자체보다 운용과 책임 구조에 초점을 맞춰야 한다"고 밝혔다.