KETI, 국내 최초 AI 기반 수어인식 기술 개발

안전 관련 단어·문장 11.5시간 분량 동영상으로 학습

전자부품연구원(KETI)는 정부의 ’자율지능 디지털 동반자‘ 과제를 통해 국내 최초 인공지능(AI) 기반 수어인식 기술을 개발했다고 11일 밝혔다.

자율지능 디지털 동반자 과제는 과학기술정보통신부(과기정통부)가 2017년부터 2020년까지 사용자 생각과 의도를 이해하고 공감해 반응하는 AI 기술 개발 목적으로 추진 중인 지능정보 플래그십 사업이다.

이번에 개발된 기술은 순환신경망의 일종인 양방향 LSTM(Long short-term memory) 기반으로 머신러닝을 수행하고 수어 구현자의 손, 얼굴, 입 등에서 특징점을 추출해 한국어 문장으로 해석한다. 다른 기술 대비 높은 실용성과 간편성, 정확성을 갖췄다는 설명이다.

전자부품연구원(KETI)는 11일 국내 최초 인공지능(AI) 기반 수어인식 기술을 개발했다고 밝혔다.(사진=KETI)

순환신경망은 선후 관계가 중요한 데이터를 학습하기 위해 어느 시점에서 나온 은닉층 출력이 선후 관계상 다음 입력과 함께 신경망 입력으로 사용되는 머신러닝 구조다.

기존 수어 인식기술은 국어와 수어 간 서로 다른 어순을 고려하지 않고 단순히 수어를 단어로 대체하는 형태로 개발돼 청각장애인의 실제 사용이 어려웠다. 예를 들어 “어디에 갑니까?”에 해당하는 수어는 ‘가다-곳-어디’로 어순이 다르다.

반면 KETI 기술은 청각장애인 수어 자체를 학습하고 이해해 청각장애인이 실생활에 활용 가능하다.

기존 기술은 적외선을 이용한 깊이 카메라를 사용해 태양광을 차단하거나 수어 제공자 몸에 센서를 부착하는 등 3차원 정보추출을 위한 별도 기기도 필요했다. KETI기술은 웹캠과 같은 일반 카메라만으로도 구동이 가능하다.

이외에도 KETI 기술은 96%까지 정확도를 끌어 올렸다. 특히 비전문가 수어도 인지한다는 설명이다.

KETI는 이번 기술 개발을 위해 수어통역 연구의 국내 최고 기관인 나사렛대학과 협력해 지난해부터 AI 학습을 위한 수어 데이터 구축을 진행했다. 현재는 청각장애인 안전과 관련한 112나 119 신고, 기타 도움 요청에 필요한 필수 단어 419개와 문장 105개를 대상으로 10명 수어 구현자를 다각도에서 촬영해 11.5시간 분량 동영상 1만480개를 구축한 상태다.

앞으로 연구팀은 안전 분야 외 의료, 민원, 금융, 편의서비스 등과 관련한 수어데이터를 지속 구축해 선진국 수준 데이터셋을 확보하고 인식 성능 또한 개선할 계획이다.

세계에서 가장 많은 수어 데이터를 가진 독일은 DGS말뭉치 프로젝트를 통해 560단어를 5명 화자가 녹화한 2천800개 샘플 데이터와 7명의 날씨방송 수어영상 4만5천760개 비디오클립을 갖췄다. 미국은 약 2천700단어와 9천800샘플 데이터 분량 ASLLVD를 구축했다. 중국은 수어구현자 8명이 녹화한 2천단어, 총 2만4천개 샘플 동영상 데이터를 포함한 DEVISIGN을 구축했다.

연구를 총괄한 정혜동 KETI 인공지능연구센터 센터장은 “이번 기술 개발로 AI가 누구나 불편함이 없도록 세상을 연결하는 가교 역할을 하길 기대한다”며 “앞으로 AI기반 행동 인식 기술을 지능형CCTV에 확대 적용해 도시안전에 활용하거나 자율주행차에 탑재해 경찰관 수신호까지 인지할 수 있도록 하는 등 ‘언행’ 모두를 이해하는 고지능 AI기술로 업그레이드할 계획”이라고 밝혔다.