MS AI, 인간 수준의 이미지 묘사능력 구사

마이크로소프트는 이미지 캡셔닝(Image Caption) 인공지능(AI) 기술을 인간 수준으로 고도화하고, 이를 모든 사용자들이 더 쉽게 사용할 수 있도록 지원한다고 20일 밝혔다.

‘알트 텍스트(alt text)’로 알려진 마이크로소프트 이미지 캡셔닝 기술은 다양한 이미지를 인식 및 분석해 콘텐츠를 자연어로 해설해 주는 기술이다. 2015년부터 활용된 이 기술은 이번 업데이트로 사람과 비슷한 수준에 도달했고, 자동화를 통해 검색 엔진부터 프레젠테이션에 삽입된 이미지까지 중요한 콘텐츠를 쉽게 이해할 수 있도록 한다.

마이크로소프트 이미지 캡셔닝 기술

마이크로소프트는 이러한 기술 향상을 그림책과 유사하게 시각적 어휘(visual vocabulary)를 사용했다. 먼저 대규모 AI 모델에 단순 어휘들이 태깅된 이미지들을 다량의 데이터 세트로 제공했다. 각각의 태그는 이미지의 특정 개체에 매핑해 사전교육을 시켰고, 정밀교정을 거쳐 문장 작성법을 학습하도록 했다. 마치 아이들이 언어를 익힐 때 사과 사진 밑에 '사과'라는 단어를 다는 것과 유사하다.

이 방식은 완성된 문장을 사용하는 훈련 보다 더욱 효과적인 결과를 만들어냈다. 이를 통해 새로운 개체를 포함한 사진들도 시각적 어휘를 사용해 더 정확한 캡셔닝이 가능해졌다. 지난 2015년부터 사용해 온 모델 대비 2배 향상됐다. 과거 ‘빌딩 옆 스케이트보드를 타는 사람’으로 설명했던 사진을 ‘공을 잡는 야구선수’로 더 정확한 캡셔닝을 보여준다.

MS AI 이미지 캡셔닝 예시. ‘빌딩 옆 스케이트보드를 타는 사람’으로 설명했던 사진을 ‘공을 잡는 야구선수’로 더 정확한 캡셔닝을 보여준다.

이 외에도 ‘곡물 확대 사진’에서 ‘들판 속 보리 확대 사진’으로, ‘산 정상 위 남자’에서 '서핑 보드를 들고 있는 남성'으로 더 구체적이고 정확한 성공적인 이미지 묘사 사례들도 함께 볼 수 있다.

MS AI 이미지 캡셔닝 예시2. ‘곡물 확대 사진’에서 ‘들판 속 보리 확대 사진’(위)으로, ‘산 정상 위 남자’에서 '서핑 보드를 들고 있는 남성'(아래)으로 더 정확하게 묘사한다.

업그레이드된 이미지 캡셔닝 기술은 현재 애저 코그니티브 서비스을 통해 사용 가능하다. 올해 말에는 윈도, 맥 환경의 워드, 아웃룩, 파워포인트 등에서도 사용 가능하며, 파워포인트는 웹 환경에서도 제공된다.

시각장애인에게 주변 환경, 인물, 사물, 글자, 이미지 등을 설명해 주는 모바일 애플리케이션인 ‘시각 AI(Seeing AI)’와도 통합된다. 이를 통해 시각 장애인이나 시력이 좋지 않은 사람들에게 사진을 묘사해주는 등 보다 정확하고 풍부한 정보 전달로 더 효과적인 도움을 줄 수 있게 되었다.

마이크로소프트 AI 플랫폼 그룹 소프트웨어 엔지니어링 매니저 사킵 사이크는 “모두가 알트 텍스트 기능을 문서, 웹, 소셜미디어 등의 이미지에 적용한다면, 시각장애인도 콘텐츠를 더욱 쉽게 이해하고 사람들과의 대화에 참여할 수 있을 것"이라고 말했다.