AI 개발 최대 장벽 GPU 인프라…KT클라우드가 내세우는 해결책은?

GPUaaS 앞세워 비용효율적 학습·추론 지원…데이터센터·서비스 추가 확충도 계획

KT클라우드가 초거대 인공지능(AI) 구축에 드는 수천억원 이상의 초기 인프라 비용 문제를 해결하기 위해 '서비스형 GPU(GPUaaS)' 확산에 총력을 기울인다.

정미진 KT클라우드 AI사업팀장은 20일 'KT클라우드 AI 사업·GPUaaS 상품 라인업' 온라인 웨비나에서 "가장 효율적인 AI 인프라 도입·활용 서비스 GPUaaS로 고객의 AI 경쟁력 향상을 돕겠다"고 말했다.

정소라 KT클라우드 AI사업팀 매니저(왼쪽), 정미진 AI사업팀장 (사진=KT클라우드 웨비나 캡처)

최근 고성능 AI 모델의 등장과 AI 서비스 개발 수요가 증가함에 따라 AI 학습·추론을 지원하는 고성능 GPU 인프라 확보가 기업들의 필수 역량이 되고 있다. 이에 많은 기업들이 수천억원이 드는 높은 인프라 구축 비용과 자원 제약, 부족한 인력 등 다양한 어려움을 느끼는 실정이다.

KT클라우드는 이러한 AI 개발 장벽을 해소하기 위해 자사 AI 데이터센터·클라우드 상에서 운용되는 GPUaaS 서비스를 확산하고 있다. KT클라우드가 제공하는 GPUaaS 상품은 'AI 트레인(TRAIN)'과 'AI 서브(SERV)' 등 2종이다.

AI 트레인은 대규모 AI 학습을 빠르고 효율적으로 할 수 있도록 돕는 엔비디아 GPU 기반 자원 할당 서비스다. 특히 GPU 연산이 끝나면 수작업 없이도 자원을 자동 회수하고 순수 사용 시간만 과금하는 동적할당 기능을 제공해 우수한 경제성을 갖췄다. 또 수십장 규모의 GPU를 누구나 쉽게 셀프서비스로 사용할 수 있도록 지원한다.

AI 서브는 모델 추론 특화 서비스로 GPU를 조각 단위로 활용할 수 있는 GPU 프래그멘테이션(Fragmentation)을 지원한다. 또 트래픽 변화에 맞춰 자동으로 GPU 자원을 확장·축소하는 오토스케일링 기능도 갖췄다. AI 트레인과 마찬가지로 AI 서브도 고성능의 엔비디아 GPU 자원을 제공한다.

더불어 KT클라우드는 긴밀한 협력을 이어오고 있는 AI 반도체 스타트업 리벨리온의 신경망처리장치(NPU) '아톰(ATOM)'을 기반으로 한 'AI 서브 NPU'도 서비스 중이다.

이에 대해 정 팀장은 "3년 전부터 리벨리온과의 사업 협력을 통해 GPU뿐만 아니라 NPU도 서비스로 제공하고 있다"며 "NPU 기술지원 조직도 함께 신설함으로써 AI 추론 영역에 집중해 사용자 편의성을 높일 계획"이라고 밝혔다.

KT클라우드는 AI 트레인과 AI 서브 등 GPUaaS 서비스를 고도화하기 위한 AI 데이터센터 확충에도 나선다. 청주·용산에 GPU 특화 데이터센터를 구축했고 올 3분기에는 경북 데이터센터 운영을 앞두고 있다.

또 KT클라우드는 최근 확보한 엔비디아의 최신 GPU인 H200을 서비스에 추가 적용하고 성능을 높일 계획이다.

이에 더해 AI 서비스 개발을 위해 모델 학습과 추론보다 선행돼야 하는 데이터 가공 과정을 지원하는 신규 서비스도 선보일 예정이다. 다양한 외부 파트너십 체결도 준비하고 있다.

나아가 고객이 AI 모델 개발의 반복 작업을 간소화하고 운영 비용도 절감할 수 있도록 AI 운영관리(Ops) 서비스를 올 1분기 내 출시한다. 산업별 맞춤형 거대언어모델(LLM) 구축을 돕기 위한 검색 증강 생성(RAG) 서비스도 연이어 선보일 계획이다.

정 팀장은 "앞으로도 많은 기업이 인프라 걱정 없이 비용효율적으로 AI 서비스를 개발할 수 있도록 고객과 함께 고민하고 지원하겠다"고 강조했다.