업스테이지, 'NAACL 2024'서 '솔라' 개발 논문 발표

DUS 기법으로 모델 규모 늘리는 방법론 제시…'솔라 10.7B' 모델 개발

업스테이지(대표 김성훈)의 언어모델 솔라 개발 논문이 글로벌 자연어 처리(NLP) 학회에 채택됐다.

업스테이지는 글로벌 탑티어 NLP 학회로 알려진 '북미 전산언어 학회(NAACL)2024'에서 솔라 개발 논문을 발표한다고 29일 밝혔다. NAACL은 ACL와 EMNLP와 함께 글로벌 3대 NLP 학회로 평가받는다. 매년 구글, 메타, 아마존 등 글로벌 빅테크 기업과 수천여 명의 NLP 연구자들이 참여해 최신 연구성과를 공유한다. 올해 학회는 6월 16일부터 21일까지 멕시코 수도 멕시코시티에서 열린다.

이번 NAACL2024에 채택된 업스테이지 논문에는 김다현 연구원, 박찬준 수석 연구원 등의 주도로 김성훈 대표, 이활석 최고기술책임자(CTO) 등 주요 경영진까지 모두 참여했다.

업스테이지는 글로벌 탑티어 NLP 학회로 알려진 '북미 전산언어 학회(NAACL)2024'에서 솔라 개발 논문을 발표한다. (사진=업스테이지)

해당 논문은 '깊이 확장 스케일링(DUS)' 기법으로 거대언어모델(LLM)의 깊이 차원을 확장하여 모델 규모를 늘리는 새로운 방법론을 제시하는 내용이다. LLM은 텍스트 입력에서 처리, 출력까지 다양한 층위의 신경망 레이어로 구성되는데, 이러한 레이어를 조합해 모델의 성능을 끌어올리는 방식이다.

구체적으로 업스테이지는 메타의 '라마2' 아키텍처인 미스트랄7B를 기반으로 해당 기법을 적용해 모델의 깊이 차원을 확장, 107억 매개변수로 구성된 '솔라 10.7B' 모델을 개발했다.

업스테이지 측은 솔라의 핵심인 사전 훈련된 가중치를 기반으로 추가 학습함으로써 모델 사이즈는 작지만 강력한 모델을 만드는 DUS 방법론을 공식 인정받았음을 의미한다는 입장이다. 최근 중국 인공지능(AI) 유니콘 기업 01.AI에서 DUS를 활용해 자체 언어모델을 개발하는 등 글로벌 적용 사례들도 생겨나는 추세다.

지금까지 업스테이지는 국내외 AI 관련 논문 110여 편을 발표하고, 구글 스콜라 랭킹 기준 톱 7 NLP 분야 컨퍼런스에서 모두 논문 채택을 달성하는 등 연구 활동을 이어가고 있다. 구글 스콜라 랭킹은 학술정보 전문 검색 서비스인 구글 스콜라가 논문의 인용 횟수에 따라 평가, 학회의 영향력을 측정하는 지표다. NLP 분야 톱 7 컨퍼런스로는 ACL, EMNLP, NAACL, TACL, COLING, LREC, WMT가 꼽히고, 이 중 저널로 구분되는 TACL을 제외한 모든 컨퍼런스에서 논문 성과를 기록한 것이다.

김성훈 업스테이지 대표는 "솔라를 개발한 업스테이지의 기술력을 글로벌 탑티어 학회에서 인정받아 기쁘다"며 "앞으로 업스테이지는 국내는 물론 해외 시장을 주도할 수 있는 강력한 LLM 개발에 힘쓸 것"이라고 밝혔다.