[기고] AI 무게중심 '학습'서 '추론'으로…ARM·NPU가 여는 고효율 인프라

지금까지 인공지능(AI) 시장은 대규모 모델 개발을 위한 ‘학습’ 중심으로 성장해왔다. 빅테크와 하이퍼스케일러가 대규모 그래픽처리장치(GPU) 투자에 집중해온 이유다. 

그러나 학습된 모델을 실제 서비스에 적용하는 ‘추론’ 수요가 빠르게 확대되면서 AI 시장의 무게중심도 이동하고 있다.

챗봇이 사용자 질문에 답하고 검색 서비스가 필요한 문서를 찾으며 번역기가 문장을 변환하는 모든 과정에서 AI 추론 연산이 활용된다. AI 학습이 대규모 모델을 직접 개발하는 소수 빅테크 중심이라면, 추론 수요는 기존 모델을 업무와 서비스에 활용하는 다양한 산업으로 확산되고 있다.

이명관 HS효성인포메이션시스템 프로

기업의 생성형 AI 활용 역시 단순 개념검증(PoC)에서 실제 업무와 서비스 환경으로 확대되고 있다. 사내 지식검색, 고객 상담, 문서 요약, 개발 지원 등 활용 사례가 다양해지면서, 사용자 요청을 신속하고 안정적으로 처리하는 추론 인프라의 중요성이 더욱 커지고 있다.

문제는 대부분의 기업이 빅테크처럼 대규모 GPU 인프라를 구축하기 어렵다는 점이다. GPU 도입 비용이 높은 데다 기존 데이터센터의 전력 공급 한계로 실제 도입에 제약을 받는 경우도 적지 않다. 많은 기업이 PoC를 통해 AI 도입 효과를 확인하고 실제 서비스 적용을 고려하지만, 본격적인 상용화 과정에서 비용, 전력, 운영 효율성 등 새로운 과제를 마주하고 있다.

여러가지 장애물을 해결하고 GPU를 도입하더라도 자원 활용 효율을 고려해야 한다. GPU는 대규모 병렬 연산에 강점을 갖지만 AI 추론은 요청 규모와 빈도, 응답속도 등 운영 조건에 따라 자원 활용률이 달라진다. 

소규모 요청이 불규칙하게 발생하는 환경에서는 고성능 GPU의 연산 자원을 충분히 활용하지 못할 수도 있다. 워크로드 특성에 맞는 AI 가속기 선택이 중요한 이유다.

NPU, AI 인프라의 새로운 선택지

이러한 변화 속에서 신경망처리장치(NPU)가 새로운 AI 인프라 옵션으로 부상하고 있다. 중앙처리장치(CPU)가 다양한 연산을 처리하는 범용 프로세서이고 GPU가 대규모 병렬 연산에 강점을 가진 가속기라면, NPU는 AI 모델 연산, 특히 추론을 효율적으로 처리하도록 설계된 AI 전용 가속기다.

자동차 공장에 비유하면 차이가 명확하다. CPU는 다양한 작업에 유연하게 대응하는 숙련된 인력, GPU는 여러 작업을 병렬로 수행하는 자동화 생산라인에 가깝다. NPU는 특정 공정에 최적화된 전용 설비에 해당된다. 범용성은 상대적으로 제한적이지만 특정 AI 연산에 특화된 구조로 워크로드에 따라 비용과 전력 효율을 높일 수 있다.

기업의 AI 가속기 선택 폭도 넓어지고 있다. 다양한 NPU 기업이 등장하면서 GPU 중심이던 AI 인프라 시장에 새로운 선택지가 생겼다. 다만 NPU가 GPU를 대체하는 것은 아니다. 모델과 서비스에 따라 GPU가 적합하거나 GPU와 NPU를 함께 구성하는 것이 효율적일 수 있다. 제조사별로 주력 워크로드 및 기업 전략이 달라 단순한 성능 수치보다 AI 모델과 동시 사용자 수, 응답속도, 전력 및 공간 조건 등을 종합적으로 고려해야 한다.

Arm 서버와 결합한 고효율 추론 인프라

HS효성인포메이션시스템은 엑세스랩과 공동 개발한 Arm 서버 '그린코어(GreenCore)'와 NPU를 결합한 통합 인프라를 제공한다. 그린코어는 저전력·저발열 특성과 매니코어 기반 병렬처리 효율을 갖췄다. 

그린코어가 서비스 운영과 데이터 전처리·후처리를, NPU가 추론 연산을 담당해 전력과 공간 제약이 있는 데이터센터에서도 효율적인 추론 인프라 구성을 지원한다.

HS효성인포메이션시스템은 NPU 선정부터 서버 구성과 통합 검증, AI 솔루션 연계, PoC까지 추론 인프라 구축 전 과정을 지원한다. 퀄컴, 딥엑스, 퓨리오사AI, 모빌린트 등 다양한 NPU 기업과 협업해 고객의 AI 모델과 동시 사용자 수, 응답속도, 전력 및 공간 조건에 적합한 NPU와 그린코어 구성을 제안하고 호환성을 검증한다.

실증으로 확인하는 Arm·NPU 결합 가능성

Arm 서버와 NPU를 결합한 실제 적용 사례도 구체화되고 있다. 한 공공기관 사업에서는 그린코어 Arm 서버에 퀄컴과 퓨리오사AI의 NPU를 결합하고 국내 AI 기업 페르소나의 검색증강생성(RAG) 솔루션을 연계해 사내 문서를 검색하고 답변하는 AI 챗봇 서비스를 구현했다. 단순히 NPU와 서버 간 호환성을 확인하는 데 그치지 않고 그린코어 서버와 NPU, AI 모델, RAG 솔루션 등 실제 서비스 운영에 필요한 요소를 하나의 환경에서 연계해 검증한 사례다.

대형 데이터센터 환경에서 Arm 기반 CPU와 국산 NPU를 결합한 AI 데이터센터 실증 프로젝트도 진행 중이다. Arm CPU가 서비스 운영과 데이터 처리, 가속기 제어를 담당하고 NPU가 추론 연산을 수행하는 구조다. 

NPU의 개별 성능을 확인하는 것을 넘어 CPU와 NPU의 역할 분담에 따른 운영 효율과 인프라 확장 시 성능 안정성, 전력 효율 등을 종합적으로 검증하는 데 초점을 맞추고 있다.

AI 활용이 ‘모델 개발과 학습’에서 실제 서비스 운용으로 확대되면서 인프라 경쟁력의 기준도 달라지고 있다. 추론 중심 AI 시대에는 GPU 확보를 넘어 워크로드 특성에 맞는 인프라 설계가 더욱 중요해지고 있다. 단순한 연산 성능뿐 아니라 비용과 전력, 공간, 운영 효율을 고려해 GPU와 NPU 등 다양한 가속기를 적절히 활용하는 역량이 AI 인프라의 핵심 경쟁력이 될 것이다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.