영상 이미지로 생생한 아바타 제작기술 개발

KETI·GIST, AI 기반 3D 인물 재현 기술 공개

한국전자기술연구원(KETI·원장 신희동)은 광주과학기술원(GIST) AI대학원과 공동연구로 ‘인공지능(AI) 기반 3D 객체 미디어 복원 기술’을 개발, 컴퓨터비전 분야 세계 최고 권위 학회인 컴퓨터비전과 패턴인식 학술대회(CVPR·Computer Vision and Pattern Recognition)에서 발표한다고 19일 밝혔다.

KETI 지능형영상처리연구센터 윤주홍·박민규 박사와 GIST 전해곤 교수팀이 개발한 AI 알고리즘은 고해상도 단일 영상에서 고품질 3차원(3D) 인물을 복원할 수 있다.

KETI·GIST 연구진은 고해상도 이미지를 효율적인 메모리로 처리하기 위해 영상 속 인물 얼굴·몸통·팔·다리 등 신체 각 부분을 분할 한 뒤 다중 단계 딥러닝 알고리즘을 통해 개별 깊이 정보를 추정했다.

AI 기반 3D 객체 미디어 복원 기술을 적용한 사례

연구진이 개발한 기술은 단일 영상 이미지만으로 3D 인물을 복원해 작업 비용과 시간을 대폭 단축할 수 있다.

연구진은 “단일이미지를 이용해 1001개의 3D 피규어 모델을 구현하는 환경에서 기존 다중카메라 스튜디오 작업시간인 200일의 10분의 1 수준인 약 20일로 단축해 고비용과 기술적 한계 등을 개선할 수 있을 것”으로 기대했다.

기술개발에 참여한 KETI 윤주홍 박사에 따르면 연구진은 3D 포토스캔 기업인 이오이스와 협력해 가상 인물 2천여 명의 3차원 모델 정보를 담은 ‘2K2K 데이터셋‘을 구축, 세계 최대 규모 오픈소스 커뮤니티 깃허브를 통해 공개할 계획이다. 2K2K 데이터셋은 2K(2048×2048) 해상도 환경에서 인물 2천여 명의 3차원 모델링 정보를 담은 데이터셋이다.

특히 2K2K 데이터셋은 인종·성별·나이·자세·헤어스타일 등 인물의 다양한 특성을 고려한 인구통계학적 균형을 충족해 과거 3D 모델링의 문제점으로 지적돼 온 ’데이터 부족‘과 ’남성 편중‘ 현상을 개선할 전망이다.

AI 알고리즘 활용 3D 인체 복원 네트워크 구조

이 기술은 지난 1월 삼성전자가 주최한 제29회 삼성휴먼테크 논문대상에서 은상을 수상하며 성과를 인정받았다. 지난 18일부터 5일간 캐나다 벤쿠버에서 열리고 있는 ‘CVPR 2023’ 상위 10% 논문(Highlight)에 채택돼 발표될 예정이다.

김제우 KETI 지능형영상처리연구센터장은 “AI 알고리즘 기반의 사실적이고 효율적인 3D 인물 모델링은 가상현실과 디지털트윈 공간을 표현하는 핵심 요소”라며 “궁극적으로 실사 적용이 가능한 메타버스 서비스 개발에 기여할 것으로 기대한다”고 밝혔다.

전해곤 GIST 교수는 “연구진이 데이터 편향성과 저품질 인체 3차원 데이터셋 문제를 해결하고, 이를 손쉬운 방법으로 복원할 수 있는 베이스라인 인공지능 알고리즘을 제안함으로써 높은 학술적 가치를 인정받을 수 있었다”고 전했다.

한편, 이번 연구는 과학기술정보통신부와 정보통신기획평가원 지원으로 KETI가 주관하는 ‘다중 소스 영상의 객체 미디어 처리 기술 개발’과제, 산업통상자원부와 한국산업기술진흥원이 지원하는 ‘뉴럴 휴먼 모델링 기반의 사용자 참여형 메타버스 공연 솔루션 개발’과제, 광주광역시 지원으로 GIST가 주관하는 ‘인공지능 기반 메타버스 구현을 위한 융복합 문화 가상 스튜디오’ 과제를 통해 이뤄졌다.