말 잘하는 음성 AI, 일도 잘할까…업계가 짚은 기술적 한계

폴리AI·오터 경영진 "판단 속도·음성인식 정확도 높여야"

사람처럼 자연스럽게 대화하는 음성 인공지능(AI) 기술이 발전하고 있지만 실제 업무를 정확하게 처리하려면 판단 속도와 음성인식 능력을 개선해야 한다는 지적이 나왔다.

11일(현지시간) 테크크런치에 따르면 글로벌 음성 AI 기업 경영진은 AI가 사람처럼 말하는 수준을 넘어 이용자의 요청을 정확히 이해하고 문제를 해결하는 능력을 갖춰야 한다고 강조했다.

기업용 음성 AI 플랫폼 폴리AI의 숀 웬 최고기술책임자(CTO)는 지난달 열린 휴먼X 콘퍼런스에서 음성 AI가 아직 '챗GPT 모먼트'를 맞이하지 못했다고 평가했다. 챗GPT 출시 이후 생성형 AI가 빠르게 대중화된 것과 같은 전환점이 음성 AI 시장에는 아직 찾아오지 않았다는 취지다.

음성 AI가 실제 업무를 수행하려면 정확한 음성인식과 대화 이해 능력이 필요하다는 지적이 나왔다. (사진=챗GPT 활용)

웬 CTO가 지목한 기술적 과제는 추론 속도다. 최근 음성 AI는 사람이 말하는 도중에도 상대방의 말을 듣고 대답할 수 있을 만큼 발전했다. 과거에는 이용자가 질문을 끝내야 AI가 답변을 시작했지만 이제는 상대방이 말을 끊거나 추가 질문을 해도 반응하며 대화를 이어갈 수 있게 됐다.

그러나 말을 자연스럽게 주고받는 능력과 질문에 빠르게 답하는 능력은 별개다. 상대방의 발언에 즉각 반응하더라도 답변에 필요한 정보를 찾고 내용을 판단하는 데는 시간이 걸릴 수 있다. AI가 대화 도중 답을 찾느라 멈칫하면 사람과 대화할 때처럼 자연스러운 흐름을 유지하기 어렵다.

웬 CTO는 고객센터를 예로 들며 음성 AI가 실제 서비스에서 신뢰를 얻으려면 문제 해결 능력도 갖춰야 한다고 강조했다. 고객이 AI 상담원과 처음 두세 차례 대화하면서 자신의 문제를 해결할 수 있다는 믿음을 얻으면 굳이 사람 상담원을 찾지 않을 수 있다고 봤다.

음성 AI가 실제 업무를 맡으려면 사람의 말을 정확하게 알아듣는 능력도 중요하다. 대화 중 중요한 단어를 잘못 인식하면 이용자의 요청을 다르게 이해할 수 있고 잘못된 내용을 바탕으로 후속 업무를 수행할 가능성도 있다.

AI 회의록 서비스 오터는 사람이 직접 참석하지 않아도 AI가 대신 회의에 참여해 의견을 주고받는 '디지털 트윈' 기술을 개발하고 있다. 단순히 발언을 기록하는 수준을 넘어 대화의 흐름을 이해하고 토론에 참여하도록 하는 것이 목표다.

디지털 트윈이 실제 회의에서 사람의 역할을 대신하려면 참석자들의 발언을 정확하게 알아듣는 것은 물론 대화의 맥락까지 파악해야 한다. 회의에서는 서로 다른 의견이 오가고 반론과 전략적 논의가 이어지기 때문이다.

오터의 알렉스 게이 최고마케팅책임자(CMO)는 AI 아바타가 참석자 간 관계를 바탕으로 한 토론과 상호작용을 구현하지 못한다면 단순히 질문에 답하는 챗봇과 다르지 않다고 지적했다.

음성인식 오류가 후속 업무에 미치는 영향도 강조했다. 회의 내용을 잘못 받아 적으면 요약 결과뿐 아니라 이를 바탕으로 진행하는 업무에도 오류가 발생할 수 있다고 경고했다.

게이 CMO는 "처음부터 음성 기록이 충분히 정확하지 않으면 이후 수행하는 모든 작업에도 오류가 발생한다"며 "AI가 잘못된 행동을 하는 순간 이용자는 플랫폼에 대한 신뢰를 잃는다"고 말했다.