청각장애인도 국악 공연 즐긴다···ETRI, 기술 개발

'촉각 음정 시스템' 선보여...9월과 10월 두 차례 공연에 적용

한국전자통신연구원(ETRI, 원장 김명준)이 청각장애인도 국악 공연을 즐길 수 있는 기술을 개발, 선보였다.

ETRI는 청각장애인을 위한 국악공연에서 '촉각 음정 시스템'을 이용해 국악 악기 음정을 실시간으로 청각장애 관람자에게 전달하는 기술을 선보였다고 29일 밝혔다. 최근 장애인에 대한 포용적 예술정책과 문화 다양성이 문화, 예술영역에 큰 영향력을 미침에 따라 장애인의 예술 접근 방법이 다양해지고 있다. '촉각 음정 시스템'은 음악이나 소리 등 청각 정보에서 소리의 주파수 신호를 뽑아내 촉각 패턴으로 만들어 기기를 통해 피부에 전달하는 사용자 인터페이스(UI) 기술이다. 이 기술을 적용한 장갑을 착용하면 음정 변화를 손가락으로 느낄 수 있다.

ETRI는 앙상블제이컴퍼니, 비햅틱스와 지난 9월 24일과 10월 22일 울산에서, 또 11월 19일은 온라인으로 공연을 개최했다. 앞서 ETRI는 작년에 촉각 음정 시스템을 개발해 청각장애인에게 소리를 전달한 바 있어. 이어 올해는 청각장애인을 위한 국악공연 '이음풍류'를 성공적으로 개최했다. '이음풍류'는 국내 최초로 청각장애인들이 소리를 듣지 못하더라도 시각과 촉각을 통해 국악의 생생한 라이브를 즐길 수 있게 기획됐다. 모든 곡에는 수어를 통한 감정 전달 및 해설, 자막을 제공했다.

ETRI 신승용 선임연구원이 촉각음정시스템을 통해 음정변화를 손가락으로 전달받고 있다.

국내 기업인 비햅틱스에서 개발한 조끼를 착용해 연주의 박자감을 온몸으로 느끼고, ETRI의 촉각 음정 시스템을 적용한 장갑을 통해 악기의 정밀한 음정 변화를 손가락으로 감지했다. 또, 각 악기의 선율 변화를 시각적 효과(미디어아트)와 함께 제공, 시각적인 즐거움을 더했다.

ETRI는 국악공연과 실시간 연동을 위해 '촉각 음정 시스템'의 기존 촉각 패턴을 서양 음계 방식에서 국악의 음계 방식으로 변경, 악기 특성에 맞게 음역을 확대하는 등 기존 시스템을 최적화했다. ETRI 연구진은 잡음 조정(노이즈 튜닝) 과 속도, 떨림 보정을 통해 명확한 음정 표현을 가능하게 했고, 음향과

기기 간 실시간 반응속도를 높여 정확도를 향상시켰다. 또, 공연 환경 및 상황에 따라 실시간으로 촉감의 최적화를 변경할 수 있게 UI를 개선, 이음풍류 공연에 제공했다. 이번 공연에는 국악기 중 대금에 집중해 대금의 세세한 음정 변화를 손가락 촉감을 통해 체험하게 했다.

총 7곡 중 대금이 포함된 4곡이 연동, 제공됐는데 특히 대금 솔로 공연인 김동진류대금산조에서 음정의 변화를 가장 실감 나게 느낄 수 있었다고 ETRI는 설명했다. 해외의 경우, 촉각을 이용해 청각장애인을 위한 라이브 공연을 시도한 적이 있지만 이는 음악의 비트감을 몸으로 체감하는 수준으로, 정밀한 악기의 음정 변화를 동시에 제공하는 방법은 이음풍류 공연이 세계 최초 시도라고 ETRI는 설명했다.

ETRI 신형철 휴먼증강연구실장은 “우리가 개발한 기술이 실험실 환경을 벗어나 실제 공연에 도입할 기회를 얻어 기술 개발에 대한 보람을 느꼈고, 나아가 기술 적용 분야에 대한 시야를 넓힐 수 있었다”고 밝혔다. 향후 연구진은 촉각 센서 및 기기 완성도를 높이는 연구를 수행, 교육용 콘텐츠 개발을 비롯해 음악 관람 및 학습 분야로 촉각 음정 시스템을 확산할 계획이다. 이번 연구는 과학기술정보통신부 '신체기능 이상이나 저하를 극복하기 위한 휴먼 청각 및 근력 증강 원천 기술 개발' 과제 일환으로 진행됐다.