카카오가 인공지능(AI)이 이용자에게 먼저 말을 거는 ‘선톡’ 기능을 고도화한다. 대화 흐름과 맞지 않는 제안을 하거나 불필요하게 개입하는 문제를 줄이고, 이용자에게 실질적으로 도움이 되는 순간을 판단하도록 개선한다는 계획이다. 이를 위해 실제 카카오톡과 유사한 가상 환경에서 AI끼리 대화하며 다양한 상황을 학습하는 ‘클론’ 기술을 활용하고 있다.
윤소원 카나나 인 카카오톡 프로덕트 매니저는 13일 경기도 용인시에서 열린 개발자 컨퍼런스 ‘이프카카오(if(kakao)26)’에서 가상 환경 ‘클론’을 활용한 카나나 인 카카오톡(카인카) 개발 과정과 향후 고도화 방향을 소개했다.
카나나 인 카카오톡은 이용자의 대화 내용을 기기 안에서 분석해 일정 관리와 예약, 구매, 검색 등을 먼저 제안하는 AI 서비스다. 지난해 열린 이프카카오에서 핵심 기능이 처음 공개됐으며, 비공개 베타 테스트를 거쳐 올해 3월 정식 출시됐다.
카카오는 카나나 인 카카오톡이 먼저 연락하는 ‘선톡’ 체계를 생성하기 위해 온디바이스 모델과 서버 모델이 협력하는 하이브리드 아키텍처를 구현했다. 사용자가 카나나 가입 시 단말기에 설치되는 작은 온디바이스 모델과 반대편의 카카오 서버에 자리한 큰 서버 모델이 협력하는 구조에서 선톡이 만들어진다.
이때 개입 판단과 그 근거가 되는 대화 맥락의 요약을 작은 온디바이스 모델이 맡게 된다. 1.3B 규모의 초경량 사이즈의 온디바이스 AI 모델이 원하는 판단과 구체적인 답을 내놓도록 개발하기 위해 카카오는 ‘데이터 엔지니어링’에 집중했다.
윤 매니저는 “카카오톡 대화를 똑똑하게 처리하는 모델을 만들기 위해 학습 데이터 구축부터 시작했다”며 “프로젝트 초기에는 대화와 같은 학습 데이터를 구하기 어려워 공개된 SNS 대화 데이터로 학습 데이터의 기반을 만들었다”고 설명했다.
여기에 서비스의 실제 추론 환경과 똑같은 클라이언트 입력 처리 방식을 적용하고, 부족하다고 여겨지는 주제에 대해서는 시나리오를 뽑아 초거대언어모델(LLM) 증강으로 미흡한 점을 보완했다.
카카오는 서비스 출시 이후 맞닥뜨린 ‘뜬금없는 선톡’, ‘맥락 오류’ 문제를 효율적으로 해결하기 위해 온디바이스 모델이 설치된 카카오톡과 유사한 가상의 환경인 ‘클론’을 개발했다.
클론은 AI가 서로 대화하며 제보받은 상황을 재연 가능한 방식으로 무한히 생성하고, 파악되지 않은 상황은 대화를 보며 미리 발견할 수 있는 도구다.
클론은 시나리오를 구축하고, 그 안에 등장하는 페르소나를 만든 뒤 대화를 생성하는 방식으로 작동한다. LLM 프롬프팅을 통해 만든 대화와 클론이 생성한 대화를 비교해 본 결과, 클론을 활용했을 때 단어 겹침이 35% 감소한 반면 표현의 다양성은 13% 증가한 것으로 확인됐다.
클론 기반 자동 개선 파이프라인이 도입되며 카나나 인 카카오톡의 개발 기능과 모델 성능이 개선되는 결과를 가져왔다. 한두 달 가량 걸리던 모델 배포 기간도 약 2주로 줄어들었다.
관련기사
향후 카카오는 클론을 가상 카카오톡에서 스스로 발전하는 프로액티브 AI를 구축하는 방향으로 개발을 거듭한다는 방침이다. 실제 카카오톡과 유사한 데이터를 만든다는 방향성은 그대로 가져가되 대화 원문을 보지 않고도 대화의 분포를 따라가는 구조로 기능을 개선한다는 것이다.
또 이 과정에서 페르소나를 입은 에이전트들이 서로 대화하고 선톡을 받아보면서 반응하고, 선톡이 가치 있는지를 판단하도록 학습시킬 예정이다. 지나친 선톡으로 유발될 수 있는 이용자 피로감과 주요 정보 누락 문제를 해결하기 위해 에이전트의 선톡 시뮬레이션 과정을 통해 적절한 개입 정도를 찾아낸다는 포부다.
