뇌·컴퓨터 연결해 말 못하는 환자 말 알아 듣는다

美 UCSF 연구진, BCI 활용 음성변환 인터페이스 개발

뇌 표면에 전극을 배치해 전신마비 환자를 비롯해 의사소통에 어려움을 겪는 사람들의 음성을  컴퓨터 화면에 단어로 표시하는 기술이 개발됐다.

IT매체 씨넷은 미국 캘리포니아대학 샌프란시스코 캠퍼스(UCSF) 연구진이 뇌-컴퓨터 인터페이스(BCI)를 활용해 의사소통이 어려운 사람들이 시도한 음성을 문자로 전환해 화면으로 보여주는 기술을 개발했다고 14일(이하 현지시간) 보도했다.

사진=UCSF

해당 프로젝트의 이름은 스테노(Steno)로, 언어 장애가 있는 마비 환자의 대화를 화면에 단어로 표시하는 것을 목표로 하는 프로젝트다. 이 프로젝트는 페이스북의 자금 지원을 받아 수행됐다. 

해당 논문은 세계적인 의학저널 '뉴 잉글랜드 저널 오브 메디슨(The New England Journal of Medicine)'에 14일 발표됐다.

UCSF 연구진은 환자의 뇌 표면에 전극을 이식하고, 이를 통해 뇌파를 모니터링하는 뉴로프로스시시스(Neuroprosthesis)를 이식했다. 성대 조절과 관련된 뇌 영역에 전극 패치를 이식한 상태에서 환자는 화면에 표시된 질문에 응답하려고 시도했고, UCSF가 개발한 기계학습 알고리즘은 50개 단어를 인식하고 이를 실시간 문장으로 변환할 수 있었다. 예를 들어, 환자가 "오늘 어떻게 지내세요?"라는 메시지를 본 후, 화면에는 "나는 아주 좋다"라는 반응이 한 마디씩 튀어나왔다.

해당 논문의 주 저자 데이비드 모세(David Moses) 박사는 "자연스럽게 말하려고 하는 사람의 뇌 활동이 단어로 해독될 수 있는 것은 이번이 처음"이라고 밝혔다. 그는 말을 할 수 없고 마비된 사람이 의도한 음성 시도를 제어 신호로 사용해 바꿨다며, 이를 통해 통신 기기가 직접적인 음성 제어를 하는 원리 증명이 되기를 바란다고 덧붙였다.

BCI 기술은 최근 크게 주목 받고 있는 기술로, 지난 5월 미국 스탠포드 대학 연구진은 신체 장애로 움직임이 자유롭지 못한 마비 환자가 머릿속에서 생각한 것을 손글씨로 옮기는데 성공하기도 했다. 이번 UCSF의 연구는 환자가 실제 말하려고 했던 음성을 분석해 보여줘 이전 기술과 다른 접근 방식을 취했다고 씨넷은 전했다.

페이스북의 BCI 헤드셋 (사진=페이스북)

연구진은 해당 연구가 페이스북의 자금 지원 단계를 넘어 계속 진행되는 것을 목표로 할 것이며, 앞으로도 더 많은 할 일이 남아있다고 밝혔다. 현재로서는 음성 인식의 어느 정도가 뇌 활동 패턴으로 분석됐는지 음성 표현에서 왔는지 확실치 않다고 해당 매체는 전했다.

연구진은 해당 연구가 사람의 마음 읽기는 아니며, 환자가 말하기와 같은 특정 행동을 시도할 때 특히 발생하는 뇌 활동을 감지하는 데 의존한다고 밝혔다.

해당 프로젝트에 자금을 지원하는 페이스북은 BCI 기술에 관심이 많은 것으로 알려졌다. 페이스북은 2019년 9월 신경 인터페이스 스타트업인 컨트롤랩스(CTRL-Labs)를 인수했다. 컨트롤랩스는 일론 머스크의 뉴럴링크가 선택한 뇌에 침습해 기기를 이식하는 방법이 아니라 비침습 기술을 활용해 헤어밴드처럼 생긴 기기를 머리에 쓰고 뇌세포의 혈액 산소 공급을 측정해 뇌파를 해독하는 방식을 연구하고 있다.