"모든 AI 처리에 고성능 GPU만 쓰지 않는다... CPU 역할 ↑"

[컴퓨텍스 2026] 인텔 아닐 난두리 "CPU, AI 핵심 인프라로 부상"

[타이베이(대만)=권봉석 기자] "AI 시대는 GPU의 시대라는 인식이 보편적이다. 그러나 에이전틱 AI가 확산되면서 상대적으로 주목받지 못했던 CPU의 중요성은 더 커질 것이다."

1일(현지시간) 오후, 대만 타이베이 험블하우스 내 인텔 행사장에서 각국 기자단과 만난 아닐 난두리 인텔 데이터센터그룹 AI 제품 및 GTM 담당이 이렇게 강조했다.

아닐 난두리 인텔 데이터센터그룹 AI 제품 및 GTM 담당. (사진=지디넷코리아)

그는 이날 생성 AI가 자율적으로 업무를 수행하는 에이전트형 AI로 진화하면서 데이터센터 구조 자체가 변화하고 있다고 설명했다.

아닐 난두리 담당은 "AI가 코드를 생성하면 CPU가 이를 컴파일하고 실행하며 오류를 검증한 뒤 다시 모델에 피드백을 보내는 과정을 반복한다"며 "에이전트가 복잡해질수록 GPU뿐 아니라 CPU, 메모리, 스토리지, 네트워크 전반의 중요성이 함께 커지고 있다"고 말했다.

"AI 산업, 성능 경쟁에서 효율 경쟁으로 이동중"

아닐 난두리 담당은 "기업들이 AI 인프라 구축 과정에서 경쟁적으로 GPU와 메모리를 투입하며 성능을 높이는 데 치중했다. 그러나 GPU 공급 부족과 메모리 가격 상승, 전력·냉각 등 에너지 비용 증가로 총소유비용(TCO)이 중요한 과제가 됐다"고 설명했다.

이에 따라 기업들은 GPU 활용률, CPU 활용률, 메모리 사용량, 네트워크 병목 현상 등을 종합적으로 고려하며 데이터센터 전체 효율을 최적화하는 방향으로 움직이고 있다. 인텔 역시 AI 산업이 '성능 경쟁'에서 '효율 경쟁'으로 이동하고 있다고 판단한다.

아닐 난두리 담당은 ”연산 자원을 효율적으로 배분하는 것이 중요하다”고 설명했다. (사진=지디넷코리아)

아닐 난두리는 "단순히 더 많은 연산 자원을 투입하던 방식은 이제 더 이상 지속 불가능하다. 현재 보유한 인프라를 대상으로 얼마나 더 많은 성능을 효율적으로 끌어내는 지가 중요하다"고 밝혔다.

CPU·GPU·가속기 공존하는 '이기종 컴퓨팅' 보편화 전망

현재 업계는 AI 데이터센터에서 CPU와 GPU에 더해 특정 분야 처리에 특화된 저전력·고효율 시스템반도체(SoC), 가속기 등이 공존하며 주요한 연산을 처리하는 '이기종 컴퓨팅' 구조가 주류가 될 것으로 보고 있다.

아닐 난두리 담당 역시 "AI는 더 이상 하나의 컴퓨팅 아키텍처만으로 해결할 수 있는 문제가 아니다. CPU 역시 오케스트레이션과 에이전트 구동, 검증을 담당하며 여기에 내장된 다양한 가속기도 특정 작업에서 높은 효율을 제공할 것"이라고 말했다.

에이전틱 AI는 다양한 연산을 요구하며 이에 맞는 이기종 컴퓨팅 자원이 필요하다. (자료=인텔)

특히 오케스트레이션 기술 중 엔비디아 다이나모, SG랭, LLM-D 등 실행하는 작업에 가장 적합한 하드웨어로 워크로드를 자동 배분하는 소프트웨어가 개발중이다.

아닐 난두리 담당은 "앞으로는 소프트웨어가 스스로 가장 효율적인 컴퓨팅 자원을 선택해 워크로드를 배치할 것이며 이 분야에서 향후 1년간 큰 혁신이 일어날 가능성이 높다"고 예상했다.

"일부 AI 워크로드, CPU만으로도 충분히 해결 가능"

최근 소형언어모델(SLM)과 증류 모델(DM)이 발전하고 CPU 내 AI 연산을 위한 명령어가 추가되며 CPU의 AI 처리 속도도 높아지고 있다. 일부 AI 워크로드는 CPU만으로도 충분히 처리할 수 있는 수준으로 평가된다.

아닐 난두리 담당은 "모든 AI가 최고급 GPU를 필요로 하는 것은 아니다. 전통적인 머신러닝이나 산업용 분석 응용프로그램은 여전히 CPU가 더 효과적"이라고 말했다.

이어 "인텔 제온 프로세서는 이미 AI 처리에 특화된 명령어인 '고급행렬확장(AMX)' 등을 내장하고 있다. 향후에는 CPU 내부와 외부의 다양한 가속기를 소프트웨어가 효율적으로 활용하는 방향으로 발전할 것"이라고 덧붙였다.

"제온6+, AI 데이터센터 변화 대응 위한 제품"

인텔은 이날 오전 클라우드·통신사, 에이전틱 AI 등 대규모 코어 작동이 필요한 환경을 겨냥한 서버·데이터센터용 프로세서 '제온6+'를 정식 출시했다. 세 환경 모두 높은 처리량과 연산 밀도가 중요시되는 스케일아웃 환경이라는 공통점을 지녔다.

인텔 제온6+ 프로세서와 인텔 18A에서 생산된 웨이퍼, 이더넷 E385 카드. (사진=지디넷코리아)

아닐 난두리 담당은 "제온6+는 비용 절감과 에이전틱 AI 증가에 따른 CPU 연산량 증가, TCO 절감 등 변화하는 AI 데이터센터 요구사항을 충족하는 데 적합한 제품"이라고 설명했다.

이어 "AI 시대의 경쟁은 더 이상 GPU 숫자만으로 결정되지 않는다"며 "CPU와 GPU, 네트워크, 메모리, 스토리지를 어떻게 균형 있게 활용하느냐가 차세대 AI 인프라의 핵심 경쟁력이 될 것"이라고 강조했다.