"말하는 중에도 맞장구 척척"…카카오, 사람처럼 대화하는 AI 개발

노병석 파운데이션 모델 개발 총괄 "성능 넘어 서비스로 증명하겠다"

카카오가 사람처럼 자연스럽게 대화하며 맞장구를 치고, 상대방의 말을 듣는 동시에 실시간 통역까지 할 수 있는 인공지능(AI) 기술을 개발하고 있다. 이용자가 말을 마칠 때까지 기다리지 않고 대화에 반응하는 것은 물론, 개인의 취향과 상황을 이해해 식당 예약 등 실제 업무까지 수행하는 AI 서비스를 구현하겠다는 구상이다.

또 카카오는 AI 모델의 크기 경쟁보다 실제 서비스에 필요한 성능과 효율을 높이는 데 집중한다. 이용자 요청에 따라 대형·소형 AI 모델을 선택적으로 활용하고, 이미지와 음성을 이해하는 멀티모달 기술과 실제 업무를 수행하는 에이전트 AI를 결합해 5000만 이용자에게 개인화된 서비스를 제공하겠다는 전략이다.

노병석 카카오 파운데이션 모델 개발 총괄은 13일 경기도 용인시 카카오 AI 캠퍼스에서 열린 개발자 콘퍼런스 '이프카카오(if(kakao)26)'에서 "5000만 사용자가 24시간 사용하는 AI를 생각해 보면 모델이 단순히 똑똑하기만 해서는 부족하다"며 "정확한 답을 빠르게 제공해야 하고, 수천만 명이 동시에 사용해도 안정적으로 동작할 수 있어야 한다"고 말했다.

노 총괄은 이날 자체 AI 모델 '카나나'의 개발 방향으로 ▲경량화·연산·서빙 전 과정을 아우르는 풀스택(Full-Stack) 최적화 ▲텍스트·이미지·음성을 함께 이해하는 멀티모달(Multimodal) ▲이용자가 요청한 일을 실제로 완료하는 에이전틱 AI를 제시했다.

"모든 요청에 가장 큰 모델 쓸 필요 없어"…AI 운영 효율 높인다

카카오는 하나의 거대한 AI 모델이 모든 요청을 처리하는 대신 작업 난이도에 따라 서로 다른 모델을 활용하는 구조를 구축하고 있다.

복잡한 추론이 필요한 문제는 프론티어 모델이 담당하고, 서버에서 처리하는 대부분의 서비스는 플래그십 모델이 맡는다. 반복적이고 명확한 요청은 소형언어모델(SLM)이 처리하며 스마트폰에서 해결할 수 있는 작업은 온디바이스 모델을 활용한다.

노 총괄은 "모든 요청에 최고의 결과를 제공하되 모든 요청에 가장 큰 모델을 사용하지는 않는다는 것이 원칙"이라며 "추론 효율은 단순히 비용을 줄이는 문제가 아니라 서비스 경쟁력과 직결된다"고 설명했다.

이 과정에서 핵심 역할을 하는 기술은 'AI 컨덕터(Conductor)'다. 이용자 요청을 분석해 적합한 모델과 도구를 선택하고 실행 순서까지 결정한다. 이를 통해 불필요하게 대형 모델을 사용하는 일을 줄이고 추론 비용을 낮춘다는 구상이다.

카카오는 온디바이스 우선 전략도 적용한다. 스마트폰에서 처리할 수 있는 요청은 서버로 보내기 전에 단말에서 먼저 처리해 응답 속도를 높이고 민감한 정보가 외부로 전달되는 범위를 줄이는 방식이다.

노병석 카카오 파운데이션 모델 개발 총괄 (사진=카카오)

이미지 보고 말로 답하는 '카나나-오'…실시간 통역 기술도 개발

카카오는 텍스트뿐 아니라 이미지와 음성을 함께 이해하고 음성으로 답할 수 있는 옴니 언어모델 '카나나-오'도 개발했다.

카나나-오는 이미지 정보를 처리하는 비전 인코더와 음성을 인식하는 스피치 인코더, 언어를 이해하는 대형언어모델(LLM), 음성을 생성하는 스피치 디코더 등을 결합한 모델이다.

노 총괄은 "사람이 AI 입력 방식에 맞추는 것이 아니라 AI가 사람의 소통 방식에 가까워져야 한다"며 "한국어 이미지 분석과 음성을 제대로 다루기 위해 모든 구성 요소를 카카오 자체 기술력으로 밑바닥부터 직접 개발했다"고 말했다. 

카카오는 카나나-오를 구성하는 인코더와 디코더 등을 국내외 AI 생태계에서 활용할 수 있도록 오픈소스로 공개할 예정이다.

음성 AI 기술도 고도화하고 있다. 전문 성우가 참여한 음성 데이터를 구축해 대화 상황에 맞는 감정과 억양, 속도를 표현하도록 학습시켰다.

특히 상대방이 말하는 동안 AI도 동시에 듣고 말할 수 있는 풀 듀플렉스(Full-Duplex) 기술 '카나나 라이브'를 개발하고 있다.

기존 음성 AI는 이용자가 말을 마친 뒤 답변하는 방식이 일반적이지만, 카나나 라이브를 활용하면 상대방의 말에 맞장구를 치거나 대화 도중 의도를 바꾸는 상황에도 자연스럽게 대응할 수 있다.

실시간 통역에도 활용할 수 있다. 한국어 문장이 끝날 때까지 기다리지 않고 듣는 동시에 영어 통역을 시작해 지연 시간을 줄이는 방식이다.

카카오는 서버 기반 카나나-오뿐 아니라 스마트폰에서 이미지와 음성을 직접 처리하는 온디바이스 모델도 개발하고 있다.

노 총괄은 "비행기 안에서 인터넷이 되지 않더라도 스마트폰에 저장된 정보를 가지고 AI와 대화할 수 있다"며 온디바이스 모델을 통해 네트워크 연결 없이도 일부 AI 기능을 이용할 수 있도록 하겠다고 설명했다.

카카오 용인 AI캠퍼스에서 진행되는 이프카카오 2026

"답변 잘하는 AI 넘어 일 끝내는 AI로"…에이전트 기술 강화

카카오가 집중하는 또 다른 영역은 이용자가 요청한 일을 실제로 완료하는 에이전틱 AI다.

노 총괄은 "지금까지 생성형 AI의 중요한 평가 기준은 얼마나 좋은 답변을 만들었는가였다면, 에이전틱 AI는 사용자가 요청한 일을 실제로 끝냈는가로 평가 기준이 달라진다"고 강조했다.

예를 들어 이용자가 친구와 갈 식당을 찾아달라고 요청하면 AI가 식당 몇 곳을 추천하는 데 그치지 않고 예약 가능한 시간을 확인하고 이용자 승인을 거쳐 예약과 공유까지 수행하는 방식이다.

이를 위해 카카오는 AI 컨덕터가 이용자 요청을 여러 작업으로 나누고 검색과 지도, 예약 등 전문 에이전트를 순차적으로 호출하도록 설계하고 있다.

노 총괄은 카나나 파운데이션 모델이 동급 규모의 글로벌 모델과 비교해 경쟁력 있는 성능을 확보했으며, 특히 도구 호출과 에이전트 능력 평가에서 비교 모델 가운데 가장 높은 성능을 보였다고 설명했다.

개인화 기술도 강화한다. 카카오는 자체 임베딩 모델을 활용해 이용자가 정확한 단어를 기억하지 못하더라도 질문의 의미를 파악하고 관련 정보를 찾아주는 기술을 개발했다.

같은 식당 추천 요청이라도 누구를 만나는지, 어디에 있는지, 무엇을 좋아하는지에 따라 서로 다른 결과를 제공하는 것이 목표다.

노 총괄은 "카카오가 말하는 개인화는 단순히 AI의 말투를 바꾸는 것이 아니다"라며 "추천이 달라지고 계획이 달라지거나 이를 처리하는 방식까지 달라지는 것"이라고 내다봤다. 

이어 "우리가 만들고자 하는 건 가장 큰 AI가 아니다. 5000만 사용자의 일상에 가장 가까운 AI"라며 "필요한 지능을 필요한 만큼의 연산으로 사용자와 가장 가까운 곳에서 성능을 넘어 서비스로 증명하겠다"고 말했다.