정부가 그래픽처리장치(GPU) 중심으로 구축해온 범정부 인공지능(AI) 인프라에 국산 신경망처리장치(NPU)를 본격 투입한다. 공무원이 사용하는 생성형 AI와 업무 특화 AI 에이전트를 NPU에서 구동하고 기존 GPU 환경과 성능·경제성을 비교해 향후 공공 AI 인프라를 다변화한다는 구상이다.
14일 업계에 따르면 한국지능정보사회진흥원(NIA)은 최근 약 133억원 규모 'NPU 기반 범정부 AI 서비스 구현' 사업을 발주하고 사업자 선정에 착수했다.
사업 기간은 계약 체결일로부터 180일이며 오는 29일 입찰을 마감한다. 과학기술정보통신부가 사업을 총괄하고 행정안전부가 협업부처로 참여한다.
GPU 중심 범정부 AI, 국산 NPU로 넓힌다
이번 사업은 정부가 지난해부터 구축·운영 중인 '범정부 AI 공통기반'의 연산 자원을 GPU에서 NPU까지 확대하는 것이 핵심이다. 범정부 AI 공통기반은 중앙부처와 지방정부 공무원이 행정망에서 민간 AI 모델과 생성형 AI 서비스를 안전하게 활용할 수 있도록 마련한 플랫폼이다.
정부는 현재 GPU 중심 인프라가 구축·운영 비용과 전력 소모가 크고 단일 공급망 의존도가 높다는 점을 중장기적인 확장 과제로 보고 있다.
이에 AI 모델 학습에는 기존 GPU 자원을 활용하고 실제 서비스를 제공하는 추론 단계에는 NPU를 적용하는 방안을 검증할 계획이다. 공공 업무에서 활용되는 생성형 AI가 대규모 모델 학습보다 질의응답과 문서 요약 등 반복적인 추론 작업에 집중되는 만큼 전력 효율과 동시 요청 처리에 강점이 있는 NPU의 활용 가능성이 높다는 판단이다.
도입되는 NPU 서버는 퓨리오사AI와 리벨리온 제품으로 총 25대 이상이다. NIA가 양사와 체결한 물품공급·기술지원협약에 따르면 퓨리오사AI의 2세대 NPU '레니게이드(RNGD)'를 탑재한 서버는 대당 2억8600만원으로 총 18대, 리벨리온 '리벨100' 기반 서버는 대당 7억원으로 총 7대가 제시됐다. 이를 기준으로 한 서버 도입 규모는 총 100억4800만원이며 최종 도입 대수는 사업 과정에서 일부 조정될 수 있다.
NPU를 단순히 도입하는 데 그치지 않고 실제 공무원 업무에 활용할 서비스도 구현한다. 우선 NPU와 민간 AI 모델을 활용해 범정부 공무원이 공동으로 사용할 수 있는 생성형 AI '공통챗'을 연내 구축한다. 'K-엑사원'과 'A.X' 등 NPU에서 구동 가능한 국내 AI 모델을 우선 활용하고 기존 범정부 AI 공통기반의 검색증강생성(RAG) 체계와 연계해 답변 정확도와 최신성을 높일 계획이다.
공무원의 실제 업무를 단계적으로 수행하는 AI 에이전트도 5종 이상 개발한다. 단순 질의응답을 넘어 자료 수집·분석부터 내용 검토와 판단 지원, 최종 결과물 작성까지 일련의 업무를 수행하도록 설계할 예정이다. 기존 범정부 AI 공통기반에서 개발한 '법령비서'와 같은 서비스 유형을 우선 검토하고 지식 검색과 문서 분석·요약, HWP·HWPX 문서 생성·편집 등 공공업무에 필요한 기능도 구현할 방침이다.
클라우드·SI 업계도 수혜…새 공공시장 열린다
이같은 요건으로 이번 프로젝트는 국산 NPU 기업뿐 아니라 클라우드와 시스템통합(SI) 업계에도 새로운 공공 AI 사업 기회가 될 전망이다.
최종 선정 사업자는 서로 다른 NPU의 하드웨어·소프트웨어 구조와 네트워크, 자원관리 방식을 범정부 AI 공통기반과 통합하고 민간 AI 모델의 포팅·양자화와 서빙엔진 연계, API 호환성 확보 등 서비스 구현 전반을 담당하게 된다.
특히 행정망 내 NPU 인프라와 AI 서비스를 제공하기 위한 클라우드 시설 제공자의 참여도 필수 조건으로 제시됐다.
이에 대형 IT서비스·클라우드 기업을 중심으로 사업 참여를 위한 컨소시엄 구성과 협력 논의가 이어질 것으로 예상된다. 이번 입찰은 대기업 소프트웨어 사업자의 참여 제한이 적용되지 않는 예외 사업으로, 공동수급도 허용됐다.
NPU 장비 구축뿐 아니라 클라우드 인프라와 행정망 연계, AI 플랫폼 구축, 서비스 개발까지 한 사업에 포함된 만큼 실제 수주 경쟁에선 대규모 공공 SI와 클라우드 운영 역량이 중요하게 작용할 전망이다.
국내 IT서비스 업계는 이미 국산 NPU를 상용 서비스에 적용하며 관련 경험을 쌓고 있다. KT클라우드는 리벨리온 NPU 기반 공공 전용 NPU 서비스를 선보였고 가비아 역시 리벨리온 기반 서비스형 NPU(NPUaaS)를 출시했다. 삼성SDS도 퓨리오사AI 레니게이드 기반 NPUaaS를 삼성클라우드플랫폼(SCP)에 올렸으며 LG CNS도 GPU와 NPU 등 다양한 AI 연산 자원을 구독형으로 제공하는 'XPU웍스'를 선보였다.
정부 역시 그간 'K-클라우드 프로젝트'와 'AI 반도체 팜 구축·실증' 등을 통해 국산 NPU의 성능 검증과 초기 시장 확보를 지원해왔다. 국내 클라우드 기업과 NPU 업체 간 협력으로 의료·번역·챗봇 등 AI 서비스를 실증하면서 운영 경험을 축적했다. 그동안 실증 중심이었던 정책이 이번에는 범정부 공통 AI 서비스라는 실제 행정 수요와 연결되는 모습이다.
정부 입장에서도 이번 사업은 단순한 국산 AI 반도체 구매 이상의 의미를 갖는다. 실제 행정업무에서 GPU와 NPU의 성능과 제약사항, 운영 안정성, 경제성을 비교해 향후 어떤 업무에 NPU를 적용할지 판단할 기준을 확보할 수 있어서다.
NIA는 실제 운영 데이터를 바탕으로 GPU 대비 NPU 활용성을 분석하고 향후 NPU 인프라의 단계적 전환·확산 방향과 기술·경제성 판단 기준을 마련할 방침이다.
관련기사
정부는 공공부문이 국산 NPU의 초기 수요처 역할을 맡아 GPU 중심의 단일 공급망 의존도를 낮추는 동시에 국내 AI 반도체 생태계와 공공 AI 인프라의 자립 기반을 함께 키우겠다는 구상이다.
NIA 측은 "공공부문 AI 활용 일상화에 대비해 NPU 기반 추론형 AI 서비스의 적용 가능성을 확인할 것"이라며 "활용 사례와 초기 수요 창출을 통해 공공 AI 반도체 인프라 확산 기반을 마련할 것"이라고 밝혔다.
