구글, 차세대 TPU 2종 공개…추론 속도 높이고 보안까지 잡는다

'TPU 8tx'·'TPU 8i 맥스' 공개…기밀 컴퓨팅·메모리 처리량 강화

구글이 인공지능(AI) 에이전트 시대에 대응하기 위해 차세대 텐서처리장치(TPU) 제품군을 확대하고 AI 인프라 경쟁력 강화에 나선다. 기업 데이터 보호에 특화된 기밀 컴퓨팅 기술부터 대규모 AI 에이전트 추론에 필요한 메모리와 연산 성능까지 강화해 급증하는 AI 인프라 수요에 대응한다는 전략이다.

구글 클라우드는 9일 8세대 TPU 신규 시스템 'TPU 8tx'와 'TPU 8i 맥스'를 공개했다. 지난 4월 발표한 대규모 AI 학습용 'TPU 8t', 저지연 추론용 'TPU 8i'에 이어 신규 시스템 2종을 추가하면서 8세대 TPU 제품군을 총 4종으로 확대했다.

마크 로메이어 구글 클라우드 AI 및 컴퓨팅 인프라 부문 부사장 겸 총괄은 지난 6일 열린 글로벌 온라인 미디어 브리핑에서 "AI는 단순히 질문하고 답변을 받는 채팅 단계를 넘어 복잡한 작업을 수행하는 에이전트 시대로 이동하고 있다"며 "하나의 사용자 요청이 내부적으로 수백~수천 개의 작업으로 확대될 수 있다"고 말했다.

이어 "AI 에이전트가 여러 작업을 동시에 수행하면서 인프라 수요도 기존 인간 중심 상호작용 대비 1,000배까지 증가할 수 있다"며 "이제는 가속기를 얼마나 많이 보유했느냐뿐 아니라 데이터를 얼마나 빠르게 이동시키고 메모리를 얼마나 효율적으로 활용하느냐가 중요하다"고 강조했다.

구글 클라우드 TPU 8tx, TPU 8i 맥스 (사진=구글 클라우드)

기밀 컴퓨팅·대규모 추론 특화…8세대 TPU 4종 체계 구축

이번에 공개된 TPU 8tx는 민감한 기업 데이터와 독자 AI 모델을 안전하게 처리하도록 설계된 시스템이다. 구글 TPU 가운데 처음으로 하드웨어 기반 기밀 컴퓨팅 기능을 적용했으며 금융·공공 등 보안과 규제 준수 요구가 높은 산업을 주요 대상으로 삼았다.

TPU 8tx는 기존 TPU 8t와 동일한 실리콘을 기반으로 AMD의 x86 호스트 중앙처리장치(CPU)를 결합했다. 데이터와 모델 가중치를 AI 추론 과정에서도 보호하도록 하드웨어 계층에 보안 기능을 적용했으며 저지연 네트워크 기술인 '보드플라이'를 활용해 TPU 8t 대비 추론 지연시간을 최대 절반으로 줄였다.

로메이어 부사장은 "TPU 8tx는 민감한 데이터와 독자 모델을 사용하는 기업이 보안과 성능 가운데 하나를 선택할 필요가 없도록 설계됐다"며 "높은 수준의 기밀 컴퓨팅 보호 기능과 낮은 추론 지연시간을 동시에 제공할 수 있다"고 설명했다.

마크 로메이어 구글 클라우드 AI 및 컴퓨팅 인프라 부문 부사장 겸 총괄 (사진=구글 클라우드)

함께 공개된 TPU 8i 맥스는 대규모 문서와 코드, 이메일 등 방대한 데이터를 처리하는 AI 에이전트에 특화됐다. 기존 TPU 8i 칩 2개를 단일 패키지로 결합해 연산 성능과 메모리 처리량을 높인 시스템이다.

TPU 8i 맥스는 384GB 고대역폭 메모리(HBM)를 탑재해 기존 TPU 8i 대비 메모리 용량을 33% 확대했다. 메모리 대역폭은 17.2TB/s, 온칩 SRAM은 768MB로 각각 두 배 늘렸다. 동일한 랙 공간에 두 배의 연산 자원을 집적해 데이터센터 공간 활용도와 시스템 효율도 높였다.

로메이어 부사장은 "AI 에이전트가 수많은 문서와 코드에 동시에 접근하면서 메모리 용량과 대역폭에 대한 부담이 커지고 있다"며 "TPU 8i 맥스는 대규모 컨텍스트를 처리하면서도 많은 에이전트가 병렬로 작업할 수 있도록 설계됐다"고 밝혔다.

파이토치 지원 확대…AI 개발부터 추론까지 소프트웨어 강화

구글은 신규 TPU와 함께 개발자가 기존 AI 모델과 소프트웨어를 활용할 수 있도록 개방형 생태계도 강화한다. 자체 가속기 성능뿐 아니라 개발 편의성과 운영 효율을 높여 기업 고객의 TPU 도입 장벽을 낮추겠다는 구상이다.

이를 위해 메타 등과 협력해 개발한 '토치TPU'를 통해 파이토치 기반 AI 모델과 코드를 큰 수정 없이 TPU에서 실행할 수 있도록 지원한다. 또 오픈소스 추론 엔진인 vLLM과 SGLang의 TPU 지원을 확대해 개발자가 학습부터 추론까지 기존 개발 환경을 활용할 수 있도록 한다는 목표다.

AI 에이전트 가속기 활용 효율을 높이는 'TPU 싱크'도 오픈소스로 제공한다. AI 에이전트가 외부 도구나 사용자 응답을 기다리는 동안 작업 메모리를 TPU 밖으로 옮겨 연산 자원을 확보하고 작업이 재개되면 메모리를 복원하는 방식이다. 이를 통해 유휴 자원을 줄이고 AI 에이전트 운영 비용을 낮출 수 있다는 설명이다.

구글은 TPU 싱크를 최신 8세대뿐 아니라 5~7세대 TPU에도 적용할 계획이다. 이와 함께 하드웨어 수준에서 격리된 마이크로 가상머신(VM)을 제공하는 '에이전트 컴퓨트 엔진'을 통해 AI 에이전트 실행 환경도 확대할 방침이다.

구글 클라우드가 올해 공개한 8세대 TPU 라인업 (사진=구글 클라우드)

TPU 고객 100곳 이상 확보…AI 인프라 시장 공략 확대

구글은 자체 TPU와 엔비디아 그래픽처리장치(GPU)를 함께 제공하는 전략으로 AI 인프라 시장 공략을 강화 중이다. 구글 쿠버네티스 엔진(GKE)을 기반으로 고객이 작업 특성에 따라 TPU와 GPU를 선택하고 운영할 수 있도록 지원한다는 계획이다.

구글은 현재 100곳 이상의 고객이 TPU를 활용하고 있다고 밝혔다. 주요 고객 사례로 앤트로픽과 애플, 글로벌 금융기업 시타델 등을 언급했으며 오라클 클라우드를 통한 TPU 기반 서비스 제공 계획도 밝혔다.

앞으로도 AI 워크로드 특성에 맞춰 하드웨어와 소프트웨어를 함께 설계하는 'AI 하이퍼컴퓨터' 전략을 강화할 계획이다. 구글 딥마인드와 검색, 유튜브, 지메일 등 자체 서비스 운영 과정에서 확보한 기술과 경험을 클라우드 고객에게 확대 적용한다는 목표다.

로메이어 부사장은 "AI 인프라는 빠르게 변화하는 워크로드 요구에 맞춰 발전해야 한다"며 "고객이 필요한 하드웨어를 자유롭게 선택하면서도 성능·효율·보안·유연성을 확보해 AI 서비스를 구축하고 확장할 수 있도록 지원할 것"이라고 강조했다.