귀로 세상을 본다…카메라 단 AI 이어폰 화제

무선 이어폰에 카메라를 탑재해 사용자가 보고 있는 것을 이해하고 질문에 답변까지 해줄 수 있는 인공지능(AI) 기기가 등장했다.

미국 워싱턴 대학 연구진이 스마트 글래스 기능을 구현할 수 있는 AI 이어폰 ‘뷰버즈(VueBuds)’를 개발했다고 IEEE 스펙트럼, 뉴아틀라스 등 외신들이 23일(현지시간) 보도했다.

해당 연구 결과는 지난 14일 스페인 바르셀로나에서 열린 인간과 컴퓨터 상호작용 분야에서 가장 권위 있는 국제 학술 대회 CHI(Conference on Human Factors in Computing systems)에서 공개됐다.

저해상도 카메라와 시각 AI 통합한 이어버드가 개발됐다. (사진=워싱턴대학)

뷰버즈는 소니 WF-1000XM3 이어버드 내부에 초소형 카메라를 탑재했다. 이 제품은 시각언어모델(VLM)을 활용해 사용자가 보고 있는 대상의 정체를 파악하고, 음성 질문에 대해 답변할 수 있도록 설계됐다.

이번 연구의 핵심은 이어폰에 설치된 카메라가 이용자들이 주시하는 전방 물체를 정확하게 인식하도록 하는 것이다. 이에 대해 연구팀은 "카메라를 바깥쪽으로 5~10도 기울이면 98~108도의 시야각을 확보할 수 있다는 사실을 발견했다"고 설명했다.

물론 완벽하지는 않다. 사용자가 물체를 20cm 이내로 가까이 두고 볼 경우 작은 사각지대가 생긴다. 하지만 사람들이 물건을 그렇게 가까이 대고 살펴보는 경우가 드물기 때문에 일반적인 상호작용에서는 큰 문제가 되지 않는다고 연구팀은 강조했다.

연구 책임자인 샴 골라코타 워싱턴대학 폴 G. 앨런 컴퓨터 과학•공학부 교수는 “이 장치는 여러 측면에서 구글 글래스의 한계를 극복하려는 시도”라고 설명했다. 연구진은 스마트 글래스가 대중화되지 못한 이유로 안경 착용 거부감, 카메라로 인한 사생활 침해 우려, 배터리 문제 등을 지적했다.

이를 해결하기 위해 이어폰 내부에 쌀알 크기의 카메라를 삽입했다. 또 저해상도•저전력 설계를 통해 효율성을 높였다. 실제로 흑백 카메라는 5메가와트(mW) 미만의 전력만 소비하며, 필요 시 자동으로 작동을 중단해 배터리 소모를 최소화한다.

소니 WF-1000XM3에 소형 카메라를 추가한 뷰버즈 시제품 (사진=워싱턴대학)

성능 테스트 결과도 주목할 만하다. 연구진이 90명을 대상으로 진행한 17개 시각 질의응답 실험에서 뷰버즈는 레이벤 메타 스마트 글래스와 유사한 수준의 응답 품질을 보였다. 또 별도 실험에서는 사물 식별과 번역에서 약 83%, 책 제목 및 저자 식별에서는 93%의 정확도를 기록했다.

카메라가 얼굴 양 옆에 있는 이어버드에 내장되어 있어 머리카락 등이 카메라 시야를 가리지 않을까? 연구진은 이를 해결하기 위해 양쪽 카메라를 바깥쪽 5~10도 살짝 틀어서 장착했고 두 개의 카메라가 촬영한 이미지를 하나로 통합해 분석하는 과정을 통해 이 문제를 해결했다.