SKT, CPU에 NPU 더해 AI 추론 서버 성능 검증

Arm-리벨리온, 차세대 AI 인프라 공동 개발

ARM의 AGI CPU와 리벨리온의 리벨카드로 AI 추론 성능을 높이는 솔루션을 개발하고 이를 SK텔레콤 AI 데이터센터에서 실증한다.

SK텔레콤이 지난 9일 ARM, 리벨리온과 차세대 AI 인프라 혁신을 위한 전략적 업무협약을 체결했다.

AI 산업이 AI 모델을 만드는 ‘학습’에서 실제 서비스를 제공하는 ‘추론’으로 패러다임 변화가 이뤄지면서 AI 인프라의 핵심과제도 학습을 위한 막대한 연산 능력보다는 얼마나 적은 전력으로 얼마나 빠르고 저렴하게 AI 서비스를 제공할 수 있느냐로 변하고 있다.

특히 추론은 365일 쉬지 않고 작동해야 되기 때문에 전력 효율이 곧 비용 경쟁력과 직결된다.

AI 추론은 학습과 달리 상대적으로 가벼운 연산을 빠르고 반복적으로 처리하는 작업이다. GPU는 이런 추론 작업에도 사용할 수 있지만, 마치 대형 트럭으로 택배를 배달하는 것처럼 과도한 전력을 소모하고 비용이 높다. 이에 업계에서는 추론에 특화된 전용 칩, 즉 NPU가 대안으로 부상하고 있다.

NPU에 CPU를 결합하는 이유도 명확하다. 실제 AI 서비스 운영에서는 AI 연산 외에도 데이터 입출력, 네트워크 통신, 메모리 관리, 작업 스케줄링 등 다양한 범용 처리가 동시에 필요하다. CPU가 시스템의 '관제탑' 역할을 하며 데이터 흐름과 시스템 운영을 총괄하고, NPU가 AI 추론 연산을 전담하는 이종 컴퓨팅 구조는 시스템의 성능과 효율을 높일 수 있다.

‘Arm AGI CPU’는 ARM이 35년 역사상 처음으로 직접 생산에 나선 데이터센터용 프로세서로, AI 추론 서비스에 최적화된 것이 특징이다. 리벨리온의 리벨카드도 대규모 AI 추론에 특화된 NPU다.

두 칩을 한 서버 안에 탑재해 CPU가 데이터 처리와 시스템 운영 등 범용 연산을 담당하고, NPU가 AI 추론 연산을 전담하면 전력 효율을 높이고 운영 비용을 줄일 수 있다. SK텔레콤은 이러한 방식이 대규모 AI 서비스를 운영하는 데이터센터에서 효율적인 서버 아키텍처라고 설명했다.

ARM과 리벨리온은 이미 지난 3월 진행된 ‘Arm 에브리웨어’ 행사에서 각 사의 칩을 결합하여 오픈 AI의 언어모델인 GPT OSS 120B 기반의 에이전틱 AI 서비스를 실시간으로 시연하며, 대규모 데이터센터에서의 상용화 가능성을 보여줬다.

SK텔레콤은 AI DC에서 CPU와 NPU를 결합한 AI 추론 컴퓨팅의 성능을 검증하고, 특히 독자 개발한 AI 파운데이션 모델 에이닷엑스 케이원(A.X K1)을 운영하는 방안도 검토하고 있다.

이재신 SK텔레콤 AI 사업개발 담당은 “추론에 최적화된 인프라와 독자 파운데이션 모델 A.X K1을 결합한 풀 패키지를 제공함으로써 AI 데이터센터 경쟁력을 더욱 강화해 나가겠다”고 말했다.

에디 라미레즈 ARM 클라우드 AI 사업부 GTM 부사장은 “AI 추론의 급속한 성장은 대규모 배포에 최적화된 새로운 데이터센터 인프라 수요를 촉진하고 있다”며, “SK텔레콤, 리벨리온과 같은 파트너는 Arm AGI CPU를 구축하고 AI 추론 인프라를 현대화하는 데 있어 중요한 역할을 하고 있다”고 전했다.

리벨리온의 오진욱 CTO는 “리벨리온은 압도적인 성능과 전력 효율을 갖춘 ‘리벨카드’와 풀스택 소프트웨어 경쟁력을 바탕으로 차세대 AI 데이터센터를 지탱하는 핵심 축을 담당하게 됐다”며, “AI 특화 인프라 구축을 위해 각 분야 전문가들이 원팀으로 뭉친 이번 협력은 업계에서도 매우 유의미한 선례가 될 것으로 기대한다”고 강조했다.