UAE TII, AWS에서 ‘팰컨 40B’ LLM 훈련

아마존 세이지메이커 점프스타트에서 활용 가능

아마존웹서비스(AWS)는 아랍에미리트(UAE) 아부다비의 과학연구센터인 ‘테크놀로지 이노베이션 인스티튜트(TII)가 오픈소스 ‘팰컨 40B’ 대규모언어모델(LLM)을 자사 클라우드 환경에서 훈련했다고 9일 발표했다.

아파치 2.0 라이선스로 사용할 수 있는 팰컨 40B는 400억 개의 매개변수를 가진 언어 모델이다. 여러 벤치마크에서 LLM을 추적, 순위 지정, 평가해 최고 성능 모델을 식별하는 허깅페이스의 오픈 LLM 리더보드에서 1위를 차지했다.

AWS 이용자는 사전 훈련된 모델을 제공하는 머신러닝(ML) 허브인 아마존 세이지메이커 점프스타트에서 팰컨 40B를 배포할 수 있어, 자체 모델을 직접 구축하지 않고도 팰컨 40B의 최첨단 정확도와 업계 최고의 성능을 활용할 수 있다.

LLM은 텍스트 처리와 요약, 그리고 질의응답에 이르기까지 광범위한 생성형 AI 애플리케이션을 구동할 수 있는 언어에 초점을 맞춘 ML 모델의 하위 집합이다. LLM은 산업을 혁신할 수 있는 잠재력을 가졌지만, LLM을 구축, 훈련, 배포하는 프로세스는 몇 주에서 몇 달이 걸리며 수천만 달러의 비용을 필요로 한다.

LLM 개발 프로세스 전반에 걸쳐 더 나은 성능과 비용 효율성을 제공하기 위해 스태빌리티AI, AI 21 랩스, 허깅페이스, LG AI 등이 AWS의 아마존 세이지메이커를 사용해 LLM을 구축, 훈련, 배포한다.

TII가 팰컨 40B 모델을 구축하기 위해 아마존 세이지메이커를 선택한 이유도 이 때문이다. 세이지메이커는 완전 관리형 서비스이기 때문에 TII는 ML 인프라를 관리하는 대신 맞춤형 훈련 메커니즘과 최적화 개발에 집중할 수 있다. TII는 훈련 비용을 최소화하고 시장 출시 기간을 단축하기 위해 맞춤 행렬 곱셈을 작성하여 훈련 속도를 가속화하는 등 몇 가지 최적화를 수행했다. 훈련 프로세스 전반에 걸쳐, AWS는 TII와 긴밀한 협력을 통해 세이지메이커를 사용해 복원력을 향상시키고, 훈련이 원활하게 진행되도록 하며 개발자의 개입을 최소화하는 데 주력했다.

TII는 지난 5월 아파치 2.0 라이선스에 따라 팰컨 40B 모델을 출시했다. 팰컨 40B는 출시 이후 다양한 벤치마크에서 유사한 최신 모델을 능가해 특별한 미세 조정 없이 탁월한 성능을 보였다.

엡테삼 알마즈루에이 TII AI크로스 센터 부문 총괄 겸 LLM 프로젝트의 프로젝트 리드는 “이번 오픈소스 릴리스는 조직들이 팰컨 40B의 탁월한 기능을 활용하고 AI 기반 솔루션의 발전을 주도할 수 있도록 지원한다”며 “이는 AI 혁신을 촉진하려는 우리의 노력에서 중요한 이정표이자 UAE의 의미 있는 과학적 공헌을 나타낸다”고 밝혔다.

그는 “오픈소스 팰컨 LLM은 최첨단 기술에 대한 광범위한 액세스를 가능하게 하고 전 세계 연구원과 조직을 지원하고자 한다”며 “그 다음 단계는 새로운 모델을 통해 AI와 고급 기술 분야의 추가 발전에 기여하고, UAE 조직과 기업 내에서 고급 AI 기술의 활용을 촉진하는 것"이라고 강조했다.

고객은 ML을 빠르게 시작하기 위해 세이지메이커 스튜디오에서 팰컨 모델을 쉽게 배포 및 사용하거나 세이지메이커 파이썬 SDK를 통해 프로그래밍 방식으로 배포 및 사용할 수 있다. 팰컨 40B는 현재 미국 동부(오하이오), 미국 동부(버지니아 북부), 미국 서부(오레곤), 아시아 태평양(시드니), 아시아 태평양(서울), 유럽(런던), 캐나다(중부)에서 아마존 세이지메이커 점프스타트를 통해 정식 출시됐다. 이용 가능한 AWS 리전은 추가될 예정이다.