구글이 'PaLM 2' 논문 핵심 기술 비공개하는 이유는?

오픈AI에 이어 구글도 'PaLM 2' 기술 정보 공개 자제

기술논문 간행에 적극적이었던 구글도 오픈AI처럼 대규모언어모델(LLM)의 기술 정보를 비공개로 유지하고 있다. 최근 발표된 PaLM 2 모델 기술 논문은 아예 모델 크기와 아키텍처에 대한 자세한 내용을 공개하지 않는다고 못박았다.

16일(현지시간) 미국 지디넷은 구글이 92페이지 분량의 PaLM 2 논문을 발표했지만 기술 내역의 핵심을 비공개로 하고 있다고 지적했다.

구글의 PaLM 2 논문 저자들은 "PaLM 2는 새로운 최첨단 언어 모델로 모델 크기에 따라 매개변수가 달라지는 트랜스포머 아키텍처를 기반으로 적층 레이어를 사용하는 소형, 중형, 대형의 변형을 갖고 있다"며 "모델 크기와 아키텍처에 대한 자세한 내용은 외부 간행물에서 보류된다"고 적었다.

불과 1년전 공개된 PaLM 논문은 매우 상세하게 기술 내역을 밝혔었다. AI 기술은 연구자들의 적극적인 정보 공개를 통해 발전해왔다. 구글도 능동적인 정보 공개를 통해 AI 기술의 진보를 이끌었다. 구글에서 간행한 AI 연구 논문은 2019년부터 500건에 달한다.

구글은 2017년 'Attention is all you need'란 논문을 통해 트랜스포머 개념을 자세히 공개했다. 이는 생성 AI의 기폭제였다. 그런 구글이 180도 돌변한 것이다.

이는 구글의 주요 경쟁사로 떠오른 오픈AI의 영향이다. 오픈AI는 지난달 GPT-4를 공개하면서 세부 정보를 밝히지 않아 학계를 당황하게 했다. 당시 AI 학자들은 오픈AI의 선택이 업계 전반에 오싹한 영향을 미칠 수 있다고 경고했고, 구글의 PaLM 2 논문은 학계의 전망을 증명하는 첫번째 신호로 여겨진다.

구글의 AI 연구를 총괄해온 제프 딘은 오픈AI의 챗GPT 등장 후 지난 2월 사내 연구 성과의 논문 공개를 제품 출시 이후로 제한한다고 내부 직원들에게 공지했다. 오픈AI가 구글의 '트랜스포머' 논문을 토대로 챗GPT를 비롯한 AI 파운데이션 기술을 개발하자 기술 유출을 원천 차단한 것이다.

PaLM 2 논문은 교육 데이터에 대한 배경과, 벤치마크 점수에 많은 비중을 할애했다. 논문 저자들은 "모델 크기가 성능 향상의 유일한 방법이 아니다"라며 "세심한 데이터 선택과 효율적인 아키텍처 및 모델을 통해 성능을 높일 수 있다"고 적었다.

이어 "더 작지만 더 높은 품질의 모델은 추론 효율성을 크게 개선하고 서비스 비용을 줄이며 더 많은 애플리케이션과 사용자를 위해 모델의 다운스트림 애플리케이션을 활성화한다"고 덧붙였다.