디노티시아, 세계 최고 멀티미디어 학회서 논문 채택

한국 문화유산 반영 멀티모발 데이터셋 구축 연구 성과

장기기억 인공지능(AI) 및 반도체 통합 솔루션 전문기업 디노티시아는 자사가 참여한 한국 문화유산 반영 멀티모달 데이터셋 구축 연구가 멀티미디어 분야의 최고 권위 학회 중 하나인 ‘ACM International Conference on Multimedia 2025’의 데이터셋 트랙 논문으로 채택됐다고 29일 밝혔다.

ACM 멀티미디어는 1993년 창립 이후 올해 33번째로 열리는 세계 최고 수준의 멀티미디어 학회로, 이미지·영상·음성·텍스트 등 다양한 데이터 처리와 융합을 기반으로 한 멀티모달 인공지능 및 차세대 미디어 기술 전반을 다룬다. 매년 수천 편의 논문이 제출되지만 채택률이 낮아 경쟁이 치열한 편이다. 올해 ACM 멀티미디어 학회는 오는 10월 27일부터 31일까지 아일랜드 더블린에서 개최될 예정이다.

디노티시아 로고

채택된 논문인 한국어 영상 이해 데이터 ‘HAN’은 한국의 문화유산과 언어적 맥락을 반영한 멀티모달 데이터셋 구축을 다룬 연구로, 인공지능 시대에 필수적인 다국어·다문화 기반의 시각-언어 융합 학습을 가능하게 하는 새로운 시도를 담고 있다.

데이터셋 ‘HAN’은 단순 번역 수준을 넘어, 실제 사회의 정서적 맥락과 상호작용, 문화적 배경과 이야기가 반영된 설명 방식을 채택하여 기존 멀티모달 모델의 성능 한계를 보완한다. 이를 통해 대규모 이미지-텍스트 기반 학습에서 발생하는 편향 문제를 완화하고, 다문화 환경에서도 일반화 가능한 시각-언어 모델 개발에 기여할 것으로 기대된다.

이번 연구는 한국 방송 영상 7천822편에서 추출한 4.1만 장 이미지와 41만 개 한·영 네러티브 캡션을 체계적으로 구축해, 영어 중심 데이터셋에 치중된 기존 한계를 극복한 것이 특징이다. 이를 통해 기존 영어 중심 데이터셋이 가진 언어적 불균형과 문화적 편향 문제를 보완하고, 저자원 언어인 한국어를 포함한 다국어·다문화 학습을 가능하게 했다.

데이터셋 ’HAN’은 멀티모달 AI, 자연어 처리, 문화유산 디지털 아카이빙 등 다양한 분야에서 활용될 수 있는 기반 데이터로, 글로벌 AI 연구 생태계에 중요한 기여를 할 전망이다.

정무경 디노티시아 대표는 “K-팝과 K-드라마를 통해 한국문화가 세계인의 일상에 스며든 것처럼, 이제는 AI 모델에도 한국의 문화가 반영될 때”라며, “데이터셋 HAN은 단순한 연구 성과를 넘어, 한국문화가 글로벌 AI 모델들에 스며들 수 있는 첫걸음이며, 더 나아가 AI 생태계에서 데이터 다양성을 보장하고 편향을 줄이는 것에 기여할 것”이라고 말했다.