업스테이지, 언어모델 '솔라' 공개

매개변수 107억개…상업적 활용 가능

업스테이지(대표 김성훈)는 자체 개발한 인공지능(AI) 언어모델 '솔라'를 오픈 소스로 공개했다고 14일 밝혔다.

솔라는 매개변수 107억개로 이뤄졌다. 3조개 넘는 토큰으로 데이터를 학습했다. 회사는 사전 학습과 파인 튜닝 단계에서 자체적으로 구축한 데이터를 솔라에 적용했다. 

업스테이지는 솔라의 107억 매개변수 모델이 거대언어모델(LLM)과 소형언어모델(SLM) 장점을 모두 갖췄다는 입장이다. 성능은 좋지만 큰 130억 매개변수 모델과, 작지만 다소 제약 있는 70억 모델 사이에서 균형을 이룬다는 설명이다. 

업스테이지, 사전학습 모델 솔라 공개. (사진=업스테이지)

107억 매개변수 제작을 위해 오픈소스 형태의 70억 모델로 뎁스 업 스케일링 방식을 적용했으며 레이어를 추가해 소형 모델 성능을 올렸다고 했다. 

이번 솔라 모델은 상업적으로 활용 가능하다. 실사용성 높은 파인튜닝 모델은 물론 자체 추가 학습 가능한 사전학습 모델까지 모두 공개됐다. 

업스테이지는 이번 솔라 모델이 허깅페이스 리더보드 평가 기준 66.04점으로 알리바바의 큐원, 메타의 라마 2, 미스트랄AI의 미스트랄 사전학습 모델들을 모두 제쳤다고 밝혔다. 

향후 아마존웹서비스(AWS) 등 글로벌 플랫폼과의 협력을 통해 글로벌 생성 AI 시장에 본격적으로 진출할 계획이다.