농아인 소통 장벽 없앤다…말할 때 얼굴 피부 변화 감지해 단어 인식

연세대, 초박막 센서와 인공지능 결합한 침묵형 음성인식 시스템 개발

초박막 센서와 인공지능을 활용, 실제 소리가 들리지 않더라도 입 모양의 변화를 감지하는 것만으로 무슨 말을 하고 있는지 높은 정확도로 알려주는 기술이 나왔다. 농아인이 수화를 모르는 사람과도 편하게 소통할 길이 열렸다.

연세대학교는 전기전자공학과 유기준·황도식·강홍구 교수 연구팀이 기존 금속 소자보다 민감도가 수십 배 높은 단결정 실리콘 기반 초박막 센서와 이를 기반으로 한 침묵형 음성인식 시스템을 개발했다고 6일 밝혔다.

이 연구는 최근 학술지 '네이처 커뮤니케이션즈(Nature Communications'에 실렸다.

스트레인 게이지 기반 침묵형 음성인식 시스템 개요 (자료=연세대)

연구진은 p-타입 단결정 실리콘을 초박막 구조로 개량, 인장률을 측정하는 스트레인 게이지에 신축성을 부여했다. 이 박막 센서는 말을 할 때 얼굴 피부가 늘어나는 정도에 따라 달라지는 저항 변화를 측정한다. 이를 통해 소리를 내지 않고 입만 움직여 발화한 100개의 단어를 최대 90%의 정확도로 분류했다.

이 스트레인 게이지로 만든 침묵형 음성 인식 시스템은 생체에서 나오는 전기생리학 신호가 아니라 물리적 특성 변화를 측정하는 방식이라 센서 크기가 작아져도 노이즈의 영향을 받지 않는다. 크기가 기존 시스템의 100분의 1 정도라 고집적 어레이로 확장할 수 있는 가능성도 크다.

여기에 센서에서 얻은 데이터를 학습하고 분류해 다시 단어로 변환하는 인공지능 알고리즘을 접목했다. 그 결과 입을 움직이는 모습을 실시간 촬영해 데이터를 전송받았을 때 적절한 분류를 시행함을 확인했다.

이 기술을 발전시키면 3억 6천만 명에 이르는 세계 농아인이 수화를 모르는 사람과도 자유롭게 대화를 할 수 있게 될 전망이다. 또 주변 소음이 커서 음성 전달이 어렵거나 통신 보안이 중요한 군경 작전 상황에도 유용하게 쓰일 수 있다.

유기준 교수는 "이번 연구는 농아 장애인들이 수화를 사용하지 않고 입 모양 움직임의 학습을 통해 의사소통을 할 수 있게 한 신개념 플랫폼"이라며 "우리나라 바이오전자시스템 산업의 발전과 장애인의 삶의 질 향상 및 관련 사회 문제 해결에 일조할 수 있을 것"이라고 밝혔다.

연구진은 향후 특정 단어에 한정되지 않고 일상의 모든 문장을 인식할 수 있는 시스템으로 발전시킨다는 목표다.