"AI와 인간 사이 격차 줄인다"…메타, 새로운 AI 학습방법 제시

여러 단어 동시에 예측하는 다중토큰예측 방식 적용 LLM 공개

메타가 사람의 언어를 보다 깊이 이해할 수 있는 인공지능(AI) 학습 방법을 제시했다.

5일 벤처비트 등 외신에 따르면 메타는 다중토큰예측 방식으로 사전학습한 대규모언어모델(LLM) 4종을 허깅페이스를 통해 출시했다.

다중토큰예측은 지난 4월 메타의 연구진이 발표한 논문을 통해 처음 소개된 기술이다. 순차적으로 토큰 하나씩 예측하는 기존 LLM 훈련과 달리 동시에 여러 토큰을 예측하는 방식이다. 토큰은 LLM이 인식하는 문자데이터의 기본 단위다.

메타가 언어에 대한 이해도를 높이기 위한 새로운 AI모델을 공개했다(이미지=허깅페이스)

이는 여러 토큰을 동시에 예측함으로써 언어 구조와 맥락에 대한 세밀한 관계를 보다 깊게 파악할 수 있어 언어에 담긴 내용을 AI가 더욱 정확하게 이해할 수 있도록 지원한다. 이를 통해 코드 생성부터 글쓰기 등 다양한 작업에서 보다 효율적이고 높은 수준의 결과물을 작성하는 것이 가능하다.

메타는 해당 방식을 통해 기존 방식보다 LLM의 성능을 향상시킬 뿐 아니라 훈련 시간과 학습에 필요한 컴퓨팅파워를 줄일 수 있다고 밝혔다. 이를 통해 AI 개발·운영 비용을 절감하고 환경에 미치는 악영향을 최소화해 지속가능한 업무환경을 구축할 수 있다고 설명했다.

허깅페이스에 공개된 4종의 LLM은 모두 70억 개의 매개변수를 기반으로 하지만 성능 비교를 위해 토큰에 차이를 뒀다.

7B_200B_1와 7B_200B_4는 2천억 개의 토큰을 활용하지만 7B_200B_1는 기존 방식으로 7B_200B_4는 다중토큰예측모델이 적용됐다. 7B_1T_1와 7B_1T_4는 토큰의 개수가 1조개로 늘어났으며 방식은 동일하다.

메타는 AI 성능 테스트인 MBPP와 휴먼에벌 벤치마크 테스트를 실시한 결과 각각 17%와 12% 더 높은 정확성을 기록했으며 생성속도는 3배 더 빨랐다고 밝혔다.

메타의 연구원들은 "우리의 접근 방식은 LLM의 속도를 향상시킬 뿐 아니라 더 나은 모델의 성능과 훈련 효율성을 제공한다"며 "새로운 학습 방법은 단순한 효율성의 확장을 넘어 언어에 대한 더욱 깊이 있는 이해를 제공해 AI와 인간 사이의 격차를 줄일 수 있는 잠재력을 가지고 있다"고 논문을 통해 강조했다.