"조카 신발 샀다고 내 취향으로 묶이면 안 되죠"…카카오, 맥락 이해하는 AI 만든다

송재하 CTO, AI 메모리 프로젝트 공개…서비스 간 이용자 맥락 연결

카카오가 인공지능(AI)이 이용자의 취향과 과거 행동을 기억하면서도 허락받지 않은 정보 활용이나 주문은 하지 못하도록 하는 기술을 개발하고 있다. 이용자가 서비스마다 같은 정보를 반복해서 설명하지 않아도 AI가 필요한 맥락을 이해하고, 허용된 범위 안에서 실제 업무까지 수행하도록 하겠다는 구상이다.

송재하 카카오 최고기술책임자(CTO)는 13일 경기도 용인시 카카오 AI 캠퍼스에서 열린 개발자 콘퍼런스 '이프카카오(if(kakao)26)'에서 AI 메모리 프로젝트와 이를 안전하게 운영하기 위한 플랫폼 전략을 소개했다.

AI 기억에도 맥락 중요

카카오가 준비 중인 메모리 프로젝트는 카카오톡과 '카나나 스페이스', '칸바스' 등 여러 서비스에서 이용자 정보를 연결해 활용하기 위한 기술이다.

예를 들어 이용자가 "지난번에 주문했던 거 다시 주문해줘"라고 요청하면 AI가 과거 구매 내역을 기억하고 이를 바탕으로 주문까지 진행하는 방식이다.

그러나 이 기술은 단순한 구매 기록만으로 이용자의 취향을 판단하지는 않는다.

송 CTO는 "물건을 한 번 샀다는 사실만으로 제 취향을 알 수 있을까요?"라며 아동화 구매 사례를 제시했다. 조카에게 선물하려고 구매한 상품을 이용자의 취향으로 단정해 아동화만 계속 추천한다면 정보를 기억했을 뿐 제대로 이해한 것은 아니라는 설명이다.

이에 카카오는 관찰된 사실과 AI의 해석을 구분하고 정보의 출처와 시점도 함께 관리한다. 배송 상태처럼 시간이 지나면 달라지는 정보와 지속적으로 활용할 수 있는 선호 정보도 구분한다.

송 CTO는 "나를 기억하는 AI라면 내가 달라질 수 있다는 사실도 기억해야 한다"고 강조했다.

정보 활용은 이용자 동의를 기준으로 제한한다. 특정 서비스에서만 사용하도록 동의한 정보는 다른 서비스에 제공하지 않으며, 동의를 철회하면 이후 요청부터 해당 정보 제공을 중단한다.

송 CTO는 "같은 사람의 기억이라고 해서 같은 범위를 써도 되는 건 아니다"라며 "맥락은 이어지고 내 선택은 지켜지도록 메모리에서 풀려고 하는 문제"라고 말했다.

송재하 카카오 CTO (사진=카카오)

"기억은 행동 권한 아냐"…AI 주문 과정까지 검증

카카오는 AI가 이용자 정보를 기억하는 것과 실제 행동을 수행할 권한을 갖는 것은 별개라는 점도 강조했다.

송 CTO는 "기억은 판단의 근거가 될 수 있지만 행동의 권한이 되지는 않는다"고 말했다.

예를 들어 이용자가 특정 상품을 재주문하도록 요청했는데 품절됐다는 이유로 AI가 임의로 다른 상품을 주문해서는 안 된다는 것이다. 이용자가 맡긴 범위에서는 작업을 진행하되 이를 벗어나면 확인을 거쳐야 한다.

이를 위해 카카오는 AI가 생성한 답변뿐 아니라 행동 계획과 실행 과정까지 검증하는 안전 체계를 마련하고 있다.

AI가 최종적으로 '주문하지 않았습니다'라고 답하더라도 그전에 주문 API를 호출했다면 이미 문제가 발생했을 수 있기 때문이다.

카카오는 시험 환경에서 품절이나 가격 변경 등 다양한 상황을 재현하고 AI가 어떤 판단으로 도구를 실행했는지 확인한다. 위험한 행동을 차단하면서 정상적인 요청은 처리할 수 있도록 평가한다.

안정적인 서비스 운영을 위한 인프라도 강화한다. 카카오에 따르면 서비스 트래픽은 평상시보다 7배, 많게는 18배까지 급증하기도 한다. 이에 사내 인프라와 외부 클라우드를 연결해 필요할 때 자원을 자동 확장하는 하이브리드 클러스터를 준비 중이다.

송 CTO는 "AI가 좋은 답을 했는지가 아니라 맡긴 조건대로 주문이 확정됐는지가 중요하다"며 "나를 더 많이 아는 데서 멈추지 않고 필요한 맥락을 이해하고 맡긴 범위를 지키면서 실제 결과까지 이어가려고 한다"고 밝혔다.