"누구나 비전언어모델 사용"…구글, 신형AI '팔리젬마2' 오픈소스로 공개

분자구조·X레이 이미지 분석 비롯 음형 파형 확인 등 다양한 분야 활용 기대

구글이 사람처럼 보고, 이해하고, 상호작용할 수 있는 신형 비전언어모델(VLM)을 오픈소스로 공개했다. 이를 통해 의료, 제조 등 다양한 산업 분야에서 보다 효율적으로 AI를 활용할 수 있을 전망이다.

5일 구글 딥마인드는 오픈소스 VLM '팔리젬마2(PaliGemma2)'를 공식 블로그를 통해 공개했다.

비전언어모델은 사람처럼 이미지와 텍스트를 함께 학습하고 업무를 처리하는 AI 모델이다. 이를 통해 두 가지 데이터 유형이 독립적으로 처리되었을 때 놓칠 수 있는 정보 간 연관성을 이해하고 처리할 수 있는 것이 특징이다.

구글의 신형 비전언어모델 '팔리젬마2'(이미지=구글)

구글의 팔리젬마2는 젬마2 언어 모델 기반으로 개발돼 언어 처리 성능을 향상시켰다. 이를 통해 세부 사항을 요구하는 작업을 보다 정확하게 수행할 수 있으며 복잡한 작업의 완성도도 높일 수 있다.

특히 구글의 AI전용 프로세서 TPUv5를 활용해 학습 효율성을 극대화했으며 일반 PC 환경에서도 효과적으로 실행될 수 있도록 최적화 작업을 거쳤다.

기존 페일젬마는 224px 해상도만 지원한 반면 팔리젬마2는 448px와 896px등 고해상도 까지 지원해 실제 활용할 수 있는 업무 범위를 확대했다.

이 밖에도 세밀한 글씨를 정확히 감지하고 인식하기 위한 광학문자인식(OCR) 등의 기능을 개선했다.

고해상도도 이미지를 학습하고 구연할 수 있어 ICDAR 15와 토털텍스트 데이터셋 벤치마크에서 이전 최고 성능 모델을 능가하며 F1 점수 75.9를 기록하며 VLM 중 가장 우수한 성능을 달성했다.

구글 딥러잉 측은 페일젬마2를 활용해 더욱 복잡한 분자구조나 X레이 이미지를 분석하고 음악 파형 등을 인식해 디지털 변환하는 과정의 정확도를 높이는 등 다양한 분야에 활용할 수 있을 것으로 예측하고 있다.

구글의 다니엘 카이저스 연구 엔지니어는 "볼 수 있는 맞춤형 AI를 구축하는 것은 복잡하고 리소스 집약적인 노력이 요구됐다"며 "하지만 이제는 팔리젬마2를 통해 누구나 시각적 입력을 이해하고 상호작용할 수 있는 AI를 활용할 수 있게됐다"고 말했다.