리벨리온, SKT 초거대 AI 'A.X K1' 서버 구동 성공…국산 NPU 기술력 입증

A.X K1과 자체 SW기술로 AI 서비스 운영 인프라 효율성 극대화

국내 AI 반도체 스타트업 리벨리온이 SK텔레콤의 초거대 AI 파운데이션 모델을 자체 서버 인프라에서 구동하는 데 성공했다. 이에 국산 신경망처리장치(NPU)의 대규모 인프라 처리 성능을 증명했다는 평가다.

리벨리온은 SK텔레콤의 독자 AI 모델 ‘A.X K1(이하 K1)’을 자사 고성능 AI 반도체 기반 리벨 서버에 탑재해 성공적으로 구동하고, 이를 기반으로 한 실시간 AI 에이전트 서비스 데모를 공개했다고 23일 밝혔다.

A.X K1 데모 영상 스크린샷.(사진=리벨리온)

이번 실증은 5000억(500B)개 이상의 파라미터(매개변수) 규모를 갖춘 초거대 언어모델을 단일 NPU 서버 환경에서 안정적으로 추론·연산해 냈다. 리벨리온은 전용 분산 처리 소프트웨어 최적화를 통해 단일 서버 구성만으로 글로벌 고성능 GPU 서버에 준하는 인프라 효율성을 확보했다고 설명했다.

특히 K1 모델의 핵심 구조인 MoE 연산을 칩셋 단에서 병목 현상 없이 분산 병렬 처리하는 기술을 구현해, 데이터센터 구축 및 운영에 들어가는 고비용 부담을 절감할 수 있는 발판을 마련했다.

실증 현장에서 리벨리온은 실생활 활용 가능성을 보여주는 ‘지도(Map)형 에이전트 서비스’ 데모를 선보였다. 수많은 이용자가 동시 접속해 복잡한 일상 질의를 던지는 다중 동시 요청 상황에서도 지연시간 없이 실시간으로 연산을 처리하고 지도에 결과를 표출하는 성능을 시연했다.

리벨리온은 과학기술정보통신부의 독자 AI 파운데이션 모델 사업 SKT 컨소시엄에 참여해 국산 NPU 기반 AI 인프라 실증을 주도하고 있다. 앞서 SKT의 ‘에이닷 전화 통화요약’ 등 실시간 AI 상용 서비스에 자사 NPU를 적용해 약 1년간 안정적으로 운영해 온 경험을 보유하고 있다.

박성현 리벨리온 대표는 “국산 초거대 AI 모델과 국산 NPU의 결합만으로 대규모 실용 AI 서비스를 안정적으로 운영할 수 있음을 입증한 ‘소버린 AI’의 구체적 사례”라며 “소프트웨어 및 반도체 인프라 경쟁력을 지속 강화해 국가 차원의 AI 기반 구축에 기여하겠다”고 말했다.