말 안해도 다 알아...생각한 게 영상으로!

'상대방이 말하지 않아도 그의 생각이 컴퓨터 모니터에 영상으로 뜬다.'

예를 들어 혼수상태나 뇌성마비 환자 등 말을 할 수 없는 사람들이 자신이 본 것을 떠올릴 때 이것을 바로 컴퓨터영상에서 볼 수 있게 될 것 같다. 또 거짓말탐지기를 사용하지 않아도 생각하고 있는 것이 컴퓨터영상으로 떠오르는 시대가 가까워진 것 같다.

버클리대 과학자들이 기계장치를 이용해 사람들이 말하지 않아도 그들의 생각을 그대로 컴퓨터모니터에서 영상으로 재현시키는 데 성공했기 때문.

버클리뉴스는 22일(현지시간) 이 대학 신경과학자들이 기능성자기공명영상장치(fMRI)에 들어간 실험자들의 두뇌 혈류흐름을 기록한 후, 이를 컴퓨터영상DB와 연계시키는 방법으로 이처럼 생각을 읽는 기술을 개발했다고 보도했다. 컴퓨터DB와 매치된 사람의 생각속 이미지는 컴퓨터 모니터에 뜬다.fMRI에 들어간 사람의 생각은 컴퓨터에 수록된 1800만초에 해당하는 영화DB와 비교된 후 시뮬레이션을 거쳐 실제 본것과 거의 비슷한 영상으로 이뤄졌다. 하지만 아직까지 정확하게 일치하지는 않았다.

이 연구결과는 커런트 바이올로지 22일자에 실렸다.

■마음의 영화속으로 들어가는 창문 열었다

결국 이 기술을 실 생활에 적용하면 뇌졸중피해자나, 혼수상태에 있는 환자, 신경퇴행증에 걸린 사람들이 말로 자신을 표현할 수 없을 때 마음속에 어떤 일이 일어나는지에 대해 영상으로 보여주게 돼 다른 사람들이 좀 더 잘 이해할 수 있게 해준다는 것.

따라서 이 기술은 기계와 인간두뇌간 인터페이스의 초석을 놓아 뇌성마비에 걸린사람들이 컴퓨터와 그들의 마음을 상호교신할 수 있도록 해 줄 것이란 기대감을 높여준다.

이 실험에서는 할리우드 영화 소개장면이 사용됐는데 현재까지 과학자들은 이 기술을 이용해 실험 대상자들이 본 할리우드 영화 동영상 기억의 일부만을 재구성할 수 있었다. 잭 갤런트 버클리대 신경과학교수이자 커런터바이올로지 논문 공동저자는 22일 발행된 커런트바이올로지에서 “이것은 마음속의 이미지를 재구성하기 위한 마음속의 영상을 재현해내기 위한 중요한 도약”이라고 말했다. 그는 “우리는 우리 마음의 영화속으로 들어가는 창문을 열었다“고 말했다.

그러나 과학자들은 이 기술이 다른 사람들의 생각과 의도를 읽을 수 있도록 하는 기술이 영화 ‘브레인스톰’에서 등장했듯 수십년이나 됐다고 지적했다. 이 영화에서 과학자들은 사람들의 감성을 기록해 다른 사람들이 이를 경험하도록 하고 있다. 두뇌에 기록된 영상을 통해 마음을 읽는 기술은 공상과학영화의 핵심주제다.

■어떻게 남의 생각을 영상으로 볼 수 있나?

연구팀장인 신지 니시모토 교수는 “우리의 자연적 경험은 영화를 보는 것과 같다”며 “이 기술을 광범위하게 받아들여지도록 하기 위해서 우리는 어떻게 두뇌가 이 역동적인 시각경험을 처리하는지를 이해해야 한다”고 덧붙였다.

니시모토와 두명의 다른 연구자들은 이 과정에서 한번에 몇시간씩이나 좁은 MRI 기기안에 서 영상을 떠올리며 두뇌의 혈류 흐름이 기록되도록 조용히 누워있어야 하는 고통을 견뎌야했다.

이들이 서로 다른 할리우드 영화를 보고 있는 동안에 fMRI는 대뇌피질에서의 혈액흐름을 영상으로 기록하고 있었다. 컴퓨터에서는 두뇌를 픽셀로 표현되는 작은 3차원입방체그래픽정보(복셀 voxel)로 나누어 기록하고 있었다. 니시모토교수는 “영화의 형태와 동작정보가 두뇌활동지도로 만들어지는 것을 보여주는 모델을 만들었다”고 말했다.

실험참가자들이 영화를 보고 장면을 떠올릴 때 두뇌의 혈류흐름이 기록되고, 영화속 영상정보패턴 및 이에 상응하는 두뇌활동을 읽는 컴퓨터는 이를 확인해 어떤 영상인지를 보여주게 된다.

■컴퓨터가 1800만초의 영화장면속에서 이미지 찾아내 조합

과학자들은 1초마다 찍힌 사진장면에 의해 재현되는 두뇌활동을 영화 재현 알고리즘을 테스트하는 데 사용했다. 이 테스트는 유튜브에서 무작위로 컴퓨터프로그램으로 가져온 1800만초에 해당하는 영화화면을 통해 이뤄졌다.

이를 통해 어떤 영화장면이 각 실험대상자들의 기억에 가장 일치하는지를 미리 예측해 볼 수 있었다.

결국 컴퓨터프로그램은 실험대상자들이 본 것과 가장 유사한 장면을 만들기 위해 100개의 영화속 장면들을 조합해 원래의 동영상을 재현해 낼 수 있었다. 물론 이것은 완전하지 않고 비슷한 수준이었다.

보도는 두뇌스캐닝을 통해 실험참가자들이 본 영화를 재현해 내는 것은 쉽지 않은 일이었다고 전했다.

연구원들은 이에 대해 “fMRI를 사용해 측정한 혈액흐름신호가 영화속에서의 역동적 신호를 풀어내는 신경신호보다 훨씬더 느렸기 때문”이라고 설명했다. 이 때문에 이전까지 두뇌활동연구는 스틸이미지 연구에 한정돼 있었다.

니시모토 교수는 “우리는 이 문제를 신경체와 혈액흐름신호를 묘사하는 각기다른 2단계 모델 개발로 해결했다”고 설명했다.

그는 “우리는 두뇌가 자연적 상태에서 어떻게 작용하는지 알 필요가 있으며 이를 위해 먼저 우리가 영화를 볼 때 뇌가 어떻게 작용하는지 이해할 필요가 있다”고 말했다.

아래 동영상을 통해 생각을 읽는 기술의 진전상황을 알 수 있다.