표정 보고 기분 맞춰 대화…'감정 읽는 AI' 만든다

위세아이텍, 실제 사람 기반 감정 인식·3D 아바타 개발…2028년 시제품 목표

위세아이텍이 사람 감정을 파악해 대화하고 도움이 필요한 순간에 먼저 말을 건네는 인공지능(AI) 아바타를 개발한다.

위세아이텍은 표정과 목소리, 뇌파 등을 분석해 이용자 상태에 맞춰 반응하는 3D 캐릭터를 개발하고 있다고 23일 밝혔다. 질문에 답하는 데서 나아가 외로움을 느끼는 사람에게 대화를 제안하고 식사나 산책 같은 일상 활동을 돕는 데 활용할 계획이다. 2028년 시제품 개발이 목표다.

연구진은 이용자가 어떤 말을 했는지만큼 어떤 감정으로 말했는지도 중요하게 보고 있다. 같은 말이라도 화가 나서 하는지 장난으로 하는지에 따라 적절한 답변이 달라지기 때문이다. 이전 대화와 감정 변화까지 살펴 상황에 맞게 반응하도록 개발할 방침이다.

위세아이텍은 표정과 목소리, 뇌파 등을 분석해 이용자 상태에 맞춰 반응하는 3D 캐릭터를 개발하고 있다. (사진=위세아이텍, 딥디멘션)

이를 위해 실제 사람 50명을 대상으로 얼굴 표정과 목소리, 심장박동, 뇌파, 눈동자 움직임 등을 수집한다. 여러 신호를 함께 분석해 말이나 표정만으로 구분하기 어려운 감정 변화를 파악하고 참가자별 말투와 반응 특성도 학습시킬 계획이다.

감정을 파악한 뒤 언제 도움을 제안할지도 연구한다. 이용자가 잠시 놀랐다는 이유로 대화를 끊고 진정을 권하면 오히려 불편할 수 있다. 반대로 도움이 필요한데도 질문에만 답하면 이용자 상태에 맞게 대응하기 어렵다. 연구진은 대화를 계속할 때와 먼저 말을 건넬 때를 구분하도록 기술을 개발하고 있다.

게임 캐릭터와 버추얼 아이돌에도 적용할 수 있다. 정해진 대사를 반복하는 대신 이용자 기분과 대화 내용에 따라 답변이나 표정을 바꾸는 방식이다. 팬과 실시간으로 대화하는 버추얼 아이돌도 활용 대상으로 검토 중이다.

이번 연구는 과학기술정보통신부 산하 정보통신기획평가원(IITP)이 지원한다. 위세아이텍이 주관하고 인하대와 세종대, 성균관대, 가톨릭대가 참여한다.

실제 사람 50명 참여…감정 데이터 모으고 얼굴·말투 구현

연구진은 참가자에게 뇌파 측정 장치를 착용시키고 심박수와 표정, 시선, 목소리 등을 동시에 기록할 계획이다. 카메라로 상반신 움직임과 몸짓도 촬영한다.

참가자에게 당시 어떤 감정을 느꼈는지 직접 묻고 심리학 전문가 검토도 거친다. 연구진은 이렇게 확인한 감정 상태를 측정한 생체신호와 비교해 AI 학습에 활용한다. 뇌파만으로 감정을 단정하지 않고 여러 정보를 대조해 판단 정확도를 높이는 방식이다.

한국인 감정 데이터 확보에도 집중한다. 같은 감정이라도 문화에 따라 표현 방식이 다를 수 있어 한국인을 대상으로 데이터를 구축할 계획이다.

김정연 위세아이텍 팀장은 "국가별로 문화가 달라 한국인 감정 데이터를 모으는 것이 중요하다"며 "한국인을 잘 이해하는 AI를 만드는 것이 우선"이라고 말했다.

수집한 데이터는 참가자를 닮은 AI 캐릭터를 만드는 데도 활용한다. 얼굴과 표정을 촬영해 3D 캐릭터로 제작하고 반복적인 대화를 통해 말투와 반응 특성을 학습시킨다.

사람마다 웃거나 놀랄 때 짓는 표정이 다른 점도 반영한다. 다양한 감정 표현을 확보하기 위해 참가자 가운데 20~30명가량을 연극영화 관련 전공 학생으로 모집하는 방안을 검토하고 있다.

완성된 캐릭터는 특수 안경 없이도 입체적으로 볼 수 있는 화면에 구현할 예정이다. 가상 인물이 화면에 등장해 이용자와 실시간으로 대화하는 형태다. 답변을 기다리느라 대화가 끊기지 않도록 응답 시간을 줄이는 기술도 개발한다.

AI 캐릭터끼리 대화하는 실험도 계획하고 있다. 실제 사람들과 비교해 대화와 행동에 어떤 차이가 나타나는지 살펴보기 위해서다.

일상 돕되 인간관계 대신하지 않도록…과도한 몰입 방지도 연구

연구진은 정서 지원 서비스를 개발하면서 이용자가 AI와 대화하는 데 그치지 않고 실제 사람들과 어울리도록 돕는 방안도 검토하고 있다. AI가 인간관계를 대신하기보다 일상생활과 사회적 활동을 지원하도록 설계할 방침이다.

위세아이텍은 별도로 분당서울대병원과 영남대병원 등과 정신질환 관련 AI 연구도 진행하고 있다. 다만 이번 아바타는 의료진을 대신해 질병을 진단하거나 치료하는 용도가 아니다. 연구진은 의료 분야에 적용하려면 제도적 요건을 충족해야 하는 만큼 우선 일상에서 정서적 안정을 돕는 서비스에 활용할 계획이다.

게임과 엔터테인먼트 분야에서는 캐릭터가 대화에 맞춰 답변과 표정을 함께 바꾸도록 구현한다. 사람이 캐릭터를 직접 조종하거나 준비한 대본을 읽지 않아도 AI가 이용자와 대화를 이어가게 하는 기술이다.

위세아이텍이 표정과 목소리, 뇌파 등 8가지 정보를 함께 분석해 감정에 반응하는 AI 아바타를 개발하는 연구 개요. (자료=위세아이텍, 딥디멘션)

초기 개발에는 GPT와 클로드 등 기존 AI 모델을 활용한다. 연구진은 이들 모델로 기술을 시험한 뒤 더 작은 AI 모델로 구현하는 방안을 검토하고 있다. 국내 독자 AI 파운데이션 모델 사업에서 개발한 모델을 활용할 가능성도 열어뒀다.

이용자가 AI에 지나치게 의존하는 상황을 막는 연구도 병행한다. 감정을 세밀하게 파악하고 친밀하게 대화하는 AI에 몰입해 실제 친구나 가족과 보내는 시간이 줄어들 수 있기 때문이다.

연구진은 위험한 대화와 과도한 몰입을 막는 안전장치를 마련할 계획이다. 어린이와 청소년을 보호하는 방안도 함께 검토한다.

김 팀장은 "AI가 사람의 감성을 얼마나 잘 이해하고 이를 실시간으로 실감 나게 표현하느냐가 중요하다"며 "여러 생체신호를 반영해 AI가 사람을 더 잘 이해할 수 있도록 연구하고 있다"고 말했다.