모티프테크놀로지스, 독자 구축 LLM '모티프 12.7B' 공개

7주 만에 자체 구축…GPU 효율 극대화·추론 성능 혁신

모티프테크놀로지스(대표 임정환)가 7주 만에 자체 구축한 대규모 언어모델(LLM) ‘Motif 12.7B’를 공개하며 기술 독립 역량을 입증했다. 

모티프테크놀로지스는 최근 허깅페이스를 통해 127억 개의 매개변수를 가진 대규모 언어모델 '모티프(Motif) 12.7B'를 오픈소스로 공개했다고 밝혔다. 

이 모델은 데이터 수집부터 모델 학습, 최적화까지 전 과정을 프롬 스크래치(From scratch) 방식으로 수행한 순수 국산 LLM이다.

대규모 언어모델(LLM) '모티프 12.7B' (이미지=모티프테크놀로지스)

모티프테크놀로지스는 지난 7월 T2I(Text to Image) 모델 '모티프-이미지-6B'를 공개한 데 이어 이번에 LLM을 선보이며 국내에서 유일하게 LLM과 대형 멀티모달 모델(LMM)을 모두 독자적으로 개발하고 있는 기업으로 자리매김했다.

특히 국내 AI 업계에서 GPU 클러스터 효율화와 고성능 개발 인력 확보가 주요 과제로 꼽히는 가운데, 모티프테크놀로지스는 자체 기술만으로 단 7주 만에 모델을 완성해 주목받고 있다. 

모티프 12.7B는 앞서 공개된 경량 모델 모티프 2.6B보다 한층 향상된 성능을 갖췄으며, 추론 능력과 학습 효율을 모두 개선했다. 회사는 이를 가능하게 한 핵심 기술로 그룹 단위 차등 어텐션과 뮤온 옵티마이저 병렬화 알고리즘 두 가지를 꼽았다.

그룹 단위 차등 어텐션은 기존 차등 어텐션(DA) 구조의 한계를 넘어, 연산 헤드를 비대칭적으로 배분해 불필요한 연산을 줄이고 신호(signal) 정보 처리 효율을 극대화한 기술이다. 이를 통해 고난도 추론 성능을 향상시키는 동시에 환각(hallucination) 현상을 완화했다.

또한 뮤온 옵티마이저 병렬화 알고리즘은 멀티노드 학습 환경에서 발생하는 GPU 통신 병목을 해소해 연산과 통신을 지능적으로 병행함으로써 GPU 활용률을 극대화했다. 이로써 LLM 학습 효율 저하의 주요 원인으로 꼽혀온 통신 대기 문제를 사실상 제거했다.

모티프테크놀로지스는 강화학습(RL)을 생략한 대신 추론 중심 지도학습을 적용해 모델이 스스로 논리적 사고와 문제 해결을 수행하도록 설계했다. 사용자 질문의 특성에 따라 심층 추론과 즉시 응답 모드를 자동 전환하는 구조도 구현해, 상황별 최적의 연산을 수행할 수 있게 했다.

이러한 접근은 개발 비용 절감뿐 아니라 운영 효율성도 높였다. 강화학습 단계 생략으로 학습 비용을 줄이고, 불필요한 연산을 회피해 GPU 사용량과 응답 지연시간을 최소화하는 등 실질적인 비용 효율성을 확보했다.

모티프 12.7B는 수학·과학·논리 문제를 평가하는 AIME25, GPQA-다이아몬드, 제브라로직 등 추론 과제에서 알리바바의 Qwen2.5(72B)와 구글의 젬마 동급 모델을 모두 능가하는 성능을 기록했다.

한편 모티프테크놀로지스는 올해 연말까지 T2V 모델을 추가로 오픈소스로 공개할 계획이다. 고성능 LLM과 LMM을 모두 자체 개발한 경험을 바탕으로, ‘LLM-LMM 투트랙 혁신’을 통해 다양한 스케일의 AI 모델 개발을 본격화할 방침이다.

임정환 대표는 "GDA와 뮤온 옵티마이저는 각각 LLM의 두뇌와 에너지 효율을 재설계한 혁신 기술"이라며 "모티프 12.7B는 단순한 성능 향상을 넘어 AI 모델의 구조적 진화를 보여주는 사례로 비용 효율적 고성능 LLM을 원하는 기업들에게 하나의 모범 답안이 될 것"이라고 말했다.