"웃고 울먹이기까지"…트위터 창업자 잭 도시, 사람 닮은 음성 AI 공개

블록, 감정과 말투까지 표현하는 '데사' 개발…맥북에서도 실행 가능

트위터 공동창업자 잭 도시가 이끄는 미국 결제기업 블록이 사람처럼 웃고 울먹이며 자연스럽게 대화하는 음성 인공지능(AI) '데사'를 공개했다.

24일(현지시간) 테크크런치에 따르면 블록은 전날 자체 연구조직에서 개발한 음성 AI 데사를 선보였다. 데사는 상대방 말을 들으면서 동시에 대답할 수 있다. 대화 도중 웃거나 잠시 머뭇거리고 감정에 따라 말투를 바꾸는 기능도 갖췄다.

블록은 매장 결제 서비스 '스퀘어'와 개인 송금 앱 '캐시앱'을 운영하는 미국 핀테크 기업이다. 잭 도시가 공동창업했으며 2021년 회사 이름을 스퀘어에서 블록으로 변경했다. 최근에는 결제와 금융 서비스에 AI를 활용하는 사업도 확대하고 있다.

미국 핀테크 기업 블록이 공개한 음성 AI '데사'의 대화 시연 화면. (사진=블록 홈페이지 캡처)

데사는 기존 음성 AI와 다른 방식으로 개발됐다. 일반적으로 음성 AI는 사람 말을 글자로 바꾼 뒤 AI가 답변을 만들고 다시 음성으로 변환한다. 이 과정에서 목소리에 담긴 감정이나 말투, 미묘한 표현이 사라질 수 있다.

블록은 데사를 개발하면서 글자 대신 실제 사람 대화 음성만 학습시켰다. 사전 학습한 다른 AI 모델도 사용하지 않았다고 밝혔다. 음성을 직접 듣고 답하도록 설계해 자연스러운 대화 흐름과 감정 표현을 구현했다는 설명이다.

실제 시연 영상에서는 데사가 직장에서 돌아와 피곤하다고 말하면서 지친 목소리를 냈다. 다른 영상에서는 상대방과 감정을 나누는 과정에서 울먹이는 듯한 목소리도 들려줬다. 이용자와 추측 게임을 하며 질문에 답하거나 대화를 이어가는 모습도 공개했다.

상대가 말을 끝낼 때까지 기다릴 필요도 없다. 데사는 '풀 듀플렉스' 기술을 적용해 말하는 도중에도 상대방 목소리를 들을 수 있다. 사람이 대화 중 상대 말을 끊거나 맞장구를 치는 방식과 비슷하다. 오픈AI가 앞서 공개한 음성 모델 'GPT-라이브'도 이러한 동시 양방향 대화를 지원한다.

데사는 대형 데이터센터 없이 개인 컴퓨터에서도 실행할 수 있다. 블록은 엔비디아 그래픽처리장치(GPU) 서버 랙 한 대를 활용해 모델을 학습했으며 애플 M4 맥스 칩을 탑재한 맥북 프로나 그보다 성능이 높은 컴퓨터에서 구동할 수 있다고 설명했다.

블록이 운영하는 스퀘어는 이미 음식 주문을 처리하는 업무에 음성 AI를 활용하고 있다. 자체 음성 모델을 활용하면 외부 AI 서비스에 대한 의존도를 낮추고 매장 주문이나 고객 응대 등 다양한 업무로 활용 범위를 넓힐 수 있다. 다만 블록은 데사를 실제 결제 서비스에 적용할 일정은 밝히지 않았다.

일반 이용자에게는 아직 서비스를 제공하지 않는다. 블록은 AI 안전 연구자에게 먼저 접근 권한을 제공해 위험성을 점검할 계획이다. 실제 사람처럼 들리는 목소리가 사칭이나 사기 등에 악용될 가능성도 검토할 필요가 있다. 현재까지 공개된 대화 영상은 블록이 직접 제작한 시연 자료로 독립적인 성능 검증 결과는 나오지 않았다.

잭 도시 블록 공동창업자 겸 최고경영자(CEO)는 "음성은 지능과 상호작용하는 가장 자연스러운 방식이라고 믿는다"며 "데사와 대화하면 사람과 이야기하는 듯한 느낌을 받을 수 있다. 감정과 미묘한 표현, 자연스러운 말의 흐름까지 담았다"고 밝혔다.