"정부 지원 GPU 70%, 가동률 50% 미만…AI 자원 관리 공백"

김우영 의원, 국감자료 공개…"저가동 원인 규명·국산 NPU 연계 배분 체계 점검"

정부 고성능컴퓨팅 지원사업을 통해 배정된 그래픽처리장치(GPU) 상당수가 가동률 50% 미만에 머문 것으로 나타났다.

인공지능(AI) 컴퓨팅 자원 확보 경쟁이 이어지는 가운데 배정한 GPU의 실제 활용 현황과 저가동 원인을 살펴보고 국산 신경망처리장치(NPU)와의 연계 가능성도 점검해야 한다는 지적이 나온다.

1일 국회 과학기술정보방송통신위원회 소속 김우영 의원은 과학기술정보통신부와 정보통신산업진흥원(NIPA)으로부터 제출받은 관련 자료를 공개하며 국정감사에서 이를 살펴보겠다고 밝혔다.

2025~2026년 GPU·NPU 지원사업별 신청량·배정량·실제 사용량 및 가동률 비교(표=김우영 의원실)

임차 GPU 70% 이상 가동률 50% 미만…활용 관리 점검 필요

자료에 따르면 2025년 고성능컴퓨팅 지원사업에서 배정된 GPU 620장 가운데 443장(71.5%)의 가동률이 50% 미만이었다. 가동률 50~80%는 141장, 80% 이상은 36장이었다. 2026년에도 비슷한 흐름이 이어졌다. 배정된 GPU 478장 가운데 350장(73.2%)이 가동률 50% 미만이었고, 84장은 50~80%, 44장은 80% 이상으로 집계됐다.

고성능컴퓨팅 지원사업은 민간 클라우드 서비스 제공업체(CSP)가 보유한 GPU를 정부가 임차해 산업계 등에 지원하는 사업이다. 독자 AI 파운데이션 모델 프로젝트 등 정부 사업과 산학연에 배분하는 정부 확보 GPU와는 별도 체계로 운영된다.

정부는 AI 인프라 확충을 위해 관련 예산도 늘리고 있다. 과기정통부의 2027년도 예산안에서 GPU 확충 등을 포함한 'AI 컴퓨팅 자원 활용 기반 강화' 예산은 올해 2조841억원에서 3조8500억원으로 증액 편성됐다. 해당 예산에는 고성능컴퓨팅 지원사업과 같은 GPU 임차 비용도 포함된다.

김 의원은 GPU를 확보하는 데 그치지 않고 배정한 자원이 실제로 얼마나 활용되는지도 관리해야 한다고 지적했다. 저가동 GPU의 구체적 사유와 회수·재배정 실적, 실제 이용목적을 국정감사에서 확인하겠다는 계획이다.

과기정통부 "원인 확인 중…가동률 변동성 커 단순 판단 어려워"

과기정통부 측은 관련 세부 사항을 확인·정리하고 있어 저가동의 구체적인 원인이나 입장을 밝히기 어렵다고 설명했다. GPU 가동률은 이용자의 사용 환경과 상황에 따라 변동성이 커 단순 수치만으로 판단하기 어렵다는 취지다. 가동률 산정 기준에 대해서는 구체적인 답변을 내놓지 않았다.

과기정통부 관계자는 정부가 직접 확보한 GPU는 기본적으로 모두 이용자에게 배분해 사용 중이며, 사실상 남는 물량은 없다고 밝혔다. 연구 특성에 따라 GPU가 필요한 시점이 달라 배정된 자원이 일시적으로 가동되지 않을 수 있지만, 이는 배정되지 않은 유휴 GPU가 남아 있는 것과는 구분해야 한다고 설명했다.

국산 NPU 지원사업의 활용 단계도 함께 살펴볼 대목이다. NPU 사업은 GPU 사업과 별도로 공모·운영되며, 모델 선정·분석·변환·최적화·추론서비스의 5단계로 진행 상황을 관리한다. 2025년 배정된 NPU 201장 가운데 추론서비스 단계로 집계된 물량은 26장(약 13%)이었다. 모델 변환 단계는 89장으로 가장 많았고, 모델 최적화 단계는 37장이었다.

2026년 배정분 105장은 모델 선정 23장, 모델 분석 69장, 모델 변환 13장으로 집계됐으며, 최적화·추론서비스 단계 실적은 표시되지 않았다. 다만 단계별 수치만으로 NPU 활용이 더딘 원인이나 기술적 장애 요인을 단정하기는 어렵다.

과기정통부와 NIPA는 GPU와 NPU를 각각 공모해 사용자 수요를 지원하고 있어 GPU 수요의 NPU 전환 사례나 물량은 별도로 관리하지 않는다고 의원실에 답했다. 이에 따라 GPU의 실제 이용 목적과 NPU로 대체할 수 있는 업무가 무엇인지, 모델 변환 이후 서비스 적용까지 어떤 지원이 필요한지는 국정감사에서 확인이 필요한 부분이다.

저가동 원인으로는 연구 일정에 따른 일시적인 미사용, 과제 규모와 배정 물량의 차이, 가동률 산정 방식 등이 있을 수 있다. GPU 운용에 필요한 인력이나 기술 지원이 충분한지도 살펴볼 필요가 있지만 현재 공개된 자료만으로 이를 저가동의 원인으로 단정할 수는 없다. 

부처 관리만의 문제 아냐…산학연 GPU 운용 역량도 과제

다만 저가동 문제를 부처 관리 체계만으로 설명하기는 어렵다는 시각도 있다. 배정받은 GPU를 효율적으로 돌리려면 분산 학습 설계, 작업 스케줄링, 모델 최적화 등을 맡을 전문 인력과 기술력이 필요하다. 

하지만 중소기업과 스타트업, 대학 연구실 등 국내 산학연 현장에서는 이런 역량을 자체적으로 갖추기 쉽지 않다는 것이다.

GPU 확보 못지않게 이를 운용할 인력이 부족하다는 지적은 꾸준히 제기돼 왔다. 엔비디아가 2030년까지 한국에 GPU 26만장을 우선 공급하겠다고 밝혔을 때도 이를 국내 AI 기술력과 산업 발전으로 잇기까지는 인재 확보와 전력 수급 등 선결과제가 적지 않다는 지적이 나왔다. 

소프트웨어정책연구소(SPRi)의 2023 인공지능산업 실태조사에서는 AI 관련 사업을 하는 국내 기업 2354곳 가운데 81.9%가 인력 부족에 동의했고, 사업 애로사항 중 'AI 인력 부족'이 5점 척도 4.25점으로 가장 높았다. 'AI 인프라·컴퓨팅 부족'은 3.62점으로 이보다 낮았다.

국정감사에서는 저가동 사유와 이용기관의 운영 여건, 회수·재배정 실적 등을 확인해 자원 재배분과 운용 지원 가운데 어떤 조치가 필요한지 살펴 볼 전망이다.

김우영 의원은 "AI 경쟁력을 위해서 GPU를 충분히 확보하는 것은 중요하지만, 확보한 자원이 실제 얼마나 활용되고 있는지까지도 관리해야 한다"며 "특히 추론 등 국산 NPU로 대체하거나 보완할 수 있는 영역은 GPU와 NPU를 따로 떼어 운영하기보다 성능·비용·전력효율에 따라 적재적소에 배분할 수 있는 체계를 검토할 필요가 있다"고 말했다.

이어 "국정감사에서 가동률이 낮은 GPU의 구체적 사유와 회수·재배정 실적, 실제 이용목적을 추가로 확인해 AI 컴퓨팅 자원이 필요한 곳에 보다 효율적으로 배분될 방안을 살펴보겠다"고 밝혔다.