[기고] 에이전틱 AI 시대 법적 책임과 해답

당신이 잠든 사이, AI가 쇼핑몰에 로그인해 운동화를 주문했다. 당신의 카드로, 당신의 계정으로. 배송지는 당신의 집. 그런데 당신은 그 주문을 기억하지 못한다.

황당한 상상이 아니다. 지금 전 세계에서 벌어지고 있는 일이다. AI가 스스로 판단하고 외부 시스템에 접근해 결제까지 직접 실행하는 '에이전틱 AI(Agentic AI)' 시대가 열렸다. AI 비서에게 "나 대신 여행 일정 짜고 항공권 예약해줘"라고 말하면, AI는 항공사 사이트에 로그인하고, 좌석을 선택하고, 카드 결제까지 완료한다.

사람이 버튼을 누르지 않았는데도 이런 일이 발생한다. 그런데 이 과정에서 잘못된 결제가 일어나거나, 개인정보가 새어나가거나, AI가 내가 원하지 않는 계약을 체결하면 누가 책임을 질까. 전 세계 법원과 규제기관이 이 질문 앞에 서 있다.

"사용자 허락만으로는 부족하다"는 법원 경고

최근 주목받은 판결이 있다. AI가 사용자의 허락을 받아 쇼핑 플랫폼에서 구매를 진행했는데, 법원은 이것이 유효한 거래가 아니라고 봤다. 이유는 뜻밖이었다. "사용자가 AI에게 권한을 위임했더라도, 플랫폼 운영자인 아마존의 승인을 따로 받지 않았다"는 것이었다.

즉, AI의 행위가 법적으로 유효하려면 두 개의 허락이 필요하다는 뜻이다. 첫째, 사용자가 AI에게 권한을 위임했는가. 둘째, 그 AI가 접근하는 시스템이 그 접근을 승인했는가. 두 조건이 모두 충족돼야 AI의 행위가 법적으로 인정된다.

그렇다면 현실의 AI 에이전트는 이 두 조건을 지금 갖추고 있는가. 대부분 갖추지 못하고 있는 듯 하다. 사용자가 AI 앱에 카드 정보를 저장하고 "나 대신 결제해도 돼"라고 허락했다는 기록은 남아 있다. 그런데 그 허락이 언제, 어떤 상황에서, 정말 본인이 한 것인지를 암호학적으로 증명하는 시스템은 아직 없는 경우가 많다.

목소리가 곧 서명이 되는 이유

여기서 근본적인 질문이 생긴다. AI에게 권한을 위임했다는 사실을, 어떻게 가장 확실하게 증명할 수 있을까. 비밀번호는 누군가 훔쳐볼 수 있다. 지문은 복제될 수 있다는 우려가 있다. 그런데 목소리는 다르다. 말하는 순간의 목소리는 그 사람만이 낼 수 있는 생체 신호다. 게다가 "카카오페이로 100만원 이체해줘"라고 말하는 순간, 그 음성 자체가 명령이면서 동시에 신원 확인이 된다. 별도로 비밀번호를 누를 필요가 없다.

이 구조를 2009년에, '보이스 컨덕터(Voice Conductor)'라 불리는 이 시스템은 사람의 목소리를 생체 디지털 서명으로 전환한다. 음성 명령이 들어오는 순간, 그 목소리의 고유한 생체 정보를 분석해 미리 등록된 주인과 대조한다. 일치하면 명령이 실행되고, 그 실행 기록은 암호학적으로 봉인된 채 보존된다. 나중에 "나는 그런 명령을 한 적이 없다"고 주장하면, 그 목소리 기록이 법정 증거가 된다.

신뢰의 사슬-허락이 전달되는 전 과정을 기록

법원이 요구한 두 가지 조건, 즉 사용자의 위임과 플랫폼의 승인을 기술적으로 구현하려면 무엇이 필요할까. 이것을 '신뢰의 사슬(Chain of Trust)'이라고 명명한다. 개념은 공항 보안 검색대와 비슷하다. 탑승객이 여권을 제시하면 신원을 확인하고, 보안 검사를 통과하면 탑승 허가가 난다. 이 과정 전체가 기록으로 남는다.

'보이스 컨덕터'는 이것을 디지털 세계에 구현한다. 사용자가 음성으로 AI에게 명령을 내리는 순간, 그 목소리로 신원이 확인된다. AI가 외부 시스템에 접근할 때, 그 시스템이 해당 AI의 접근 권한을 승인했는지 검증한다. 명령이 최종 실행될 때, 그 전 과정의 허락 기록이 암호화된 증명서로 남겨진다.

이것이 바로 법원이 요구하는 두 개의 허락을 기술적으로 증명하는 방식이다. "사용자가 허락했는가"는 음성 생체인증으로, "플랫폼이 승인했는가"는 권한 범위 검증으로, 그리고 그 전체 과정은 변조 불가능한 암호학적 기록으로 남는다.

법이 기술을 앞질렀지만, 설계도는 이미 기다리고 있어

한국에서는 올해 1월 AI 기본법이 시행됐다. 이 법은 금융·의료·채용 등에 활용되는 AI를 '고영향 AI'로 분류하고, 서비스 제공자에게 위험 관리 체계 구축과 인간 감독 가능 설계를 법적으로 의무화했다. 쉽게 말하면, AI가 사고를 쳤을 때 그 AI가 무엇을 했는지 추적할 수 있어야 한다는 뜻이다.

카카오, 네이버, 토스가 AI 음성 결제를 출시하는 순간, 이 법적 의무는 현실이 된다. "이 결제가 진짜 계좌 주인의 음성 명령에 의한 것이었음을 증명하라"는 요구가 규제기관에서 날아올 때, 그 증명 체계를 갖춘 기업과 그렇지 못한 기업의 차이는 단순한 기술 차이가 아니라 법적 책임의 차이가 된다.

2009년 당시 에이전틱 AI라는 단어조차 존재하지 않았다. 그런데 16년이 지난 지금, 전 세계 법원이 AI 행위의 법적 유효성을 따지기 시작하면서, 그 해답의 윤곽이 2009년 서울에서 그려진 설계도와 겹쳐진다.

"누가 시켰느냐"를 증명하는 것이 곧 권력

AI가 일상 깊숙이 들어올수록 "누가 이 AI에게 이 행동을 시켰는가"를 증명하는 능력이 모든 디지털 거래의 핵심이 된다. 결제, 계약, 의료 처방, 공장 명령, 자율주행 지시까지. 모든 AI 행위의 뒤에는 반드시 사람의 허락이 있어야 하고, 그 허락은 반드시 증명 가능해야 한다.]