입모양만으로도 말을 정확히 파악하는 AI가 개발됐다. 청각장애인이나 난청인 대화에 도움을 줄 전망이다.
KAIST는 노용만 전기및전자공학부 교수 연구팀이 입술 움직임을 보고 말을 문자로 바꾸는 시각적 음성 인식(VSR) 기술의 정확도를 높이는 긱술을 개발했다고 16일 밝혔다.
문장 빈칸을 반복해서 채워나가는 ‘확산 대형 언어 모델(DLLM)’을 활용해, 입모양이 모호한 부분을 앞뒤 문맥으로 해독하도록 했다.
연구팀은 ‘처음부터 순서대로 읽기’를 ‘확실한 부분부터 읽기’로 바꿨다. 입술 움직임이 분명한 단어를 먼저 알아낸 뒤, 그 단어들을 단서로 남은 부분을 해독하는 방식이다. 퍼즐에서 모양이 분명한 조각부터 맞추고 주변 조각을 채우듯, 문장의 앞뒤 정보를 함께 살피며 모호한 부분을 점차 풀어낸다.
학습 방식도 개선했다. 먼저 영상 속 입술 움직임과 글자 내용을 연결하도록 가르친 뒤, 문장 길이를 학습하도록 두 단계를 나눴다. 또한 실제 말을 해독할 때는 영상 길이를 바탕으로 가능한 문장 길이를 여러 개 추정하고, 각 결과를 비교해 더 신뢰할 만한 문장을 선택하도록 했다.
연구팀은 433시간 분량의 입모양 영상 데이터셋 ‘LRS3’를 정답이 제공되는 학습 데이터로 활용해 단어 오류율 19.4%를 기록했다. LRS3만 정답이 붙은 학습 데이터로 사용한 기존 방법들 가운데 가장 낮은 오류율이다.
기존 모델 오류율은 25.8%였다. 24.8% 오류율을 개선했다. 또 데이터 학습시간도 433시간에 불과했다. 기존 입모양만 인식하는 AVSR은 오류율이 19.1%다. 하지만 이는 학습시간이 3448시간에 이른다.
연구팀은 향후 AI 모델의 크기와 연산량을 줄여 다양한 기기에 적용하는 연구를 이어갈 계획이다.
관련기사
- KAIST 정송·최성현 교수, ETRI AI·입체통신 특임고문에2026.11.11
- KAIST, 이탈리아·스위스와 '감각→뇌→행동' 과정 규명나서2026.11.06
- KAIST 테라랩, 반도체 TSV→HBM·HBF서 이번엔 AI 에이전트 '선공'2026.11.05
- 메가존클라우드, KAIST '카이로스 37' 산업 현장 적용 나선다2026.11.03
노용만 교수는 “실제 생활과 산업 현장의 다양한 기기에서 신뢰하고 사용할 수 있는 물리적 인공지능(Physical AI)의 기반을 마련할 것”이라고 말했다.
연구결과는 자연어 처리 분야 국제학술대회 ‘EMNLP 2026’에서 우수논문상으로 선정됐다.








