[기고] 구글 TPU가 바꾼 AI 인프라의 미래

전 세계가 인공지능(AI)을 넘어 생성형 AI 시대로 진입했다. 이미 우리 삶의 모든 영역에 스며든 AI는 산업을 넘어 국가 경쟁력의 핵심 지표로 자리 잡았다. 대한민국 정부 역시 이러한 흐름을 주도하고자 국가 AI 컴퓨팅센터 구축을 비롯해 AI 추경 예산 편성, 첨단 프로세서 확보 등 대규모 투자를 단행하며 국가적 역량을 결집 중이다.

그러나 기존 컴퓨팅 인프라의 확장만으로 오늘날 생성형 AI의 폭발적인 수요를 감당하기에는 명확한 한계가 존재한다. 이제 우리는 AI 기술 발전 속도에 맞춰 컴퓨팅 인프라의 근본적 한계를 극복해야 하는 새로운 과제에 직면했다.

구글이 10여 년 전부터 독자적으로 개발해 온 텐서처리장치(TPU)는 AI 작업에 특화된 반도체 칩으로 바로 이러한 변화의 중심에 서 있는 기술이다. TPU의 강점을 통해 미래 AI 인프라의 청사진을 그려보고자 한다.

생성형 AI 모델의 학습과 추론은 방대한 데이터를 끊임없이 이동시키고, 복잡한 수학적 연산을 수행해야 한다. 이 과정에서 기존 컴퓨팅 자원들은 메모리와 네트워크 부문에서 병목 현상을 겪기 쉽다. 특히 이더넷과 같은 범용 네트워크는 이러한 극단적인 요구를 처리하기에 역부족이다.

지기성 구글클라우드코리아 사장. (사진=구글클라우드)

TPU는 AI 연산에 특화된 구조를 기반으로 고대역폭메모리(HBM)를 활용해 데이터 전송 속도와 효율을 극대화한다. 또 기존 네트워크의 오버헤드를 우회하는 전용 인터커넥트 기술을 통해 수많은 프로세서를 하나의 거대한 슈퍼컴퓨터처럼 작동시킨다. 이처럼 컴퓨팅 유닛과 네트워크를 긴밀하게 통합해 데이터 전송 지연 시간을 최소화하고, 프로세서가 유휴 상태에 놓이는 비효율을 방지한다.

이런 최적화는 단순히 속도를 높이는 것을 넘어 비용과 전력 효율성을 획기적으로 개선한다. 불필요한 전력 소모를 최소화함으로써 기업은 더 많은 작업을 수행할 수 있으며, 결과적으로 AI 모델의 개발·운영 비용을 절감하고 지속 가능한 성장 기반을 마련할 수 있다.

고도로 복잡한 AI 모델을 훈련하기 위해서는 수만 개에 이르는 컴퓨팅 유닛을 한 치의 오차 없이 동기화해야 한다. 단 하나의 칩이라도 오류가 발생하면 전체 시스템에 치명적인 영향을 줄 수 있다. 따라서 시스템 일부에 문제가 발생하더라도 제 기능을 유지하는 '내결함성'은 AI 모델 훈련에 매우 중요한 기술이다.

TPU는 설계 단계부터 대규모 클러스터 환경을 염두에 두고 내결함성을 효과적으로 구현했다. 각 칩의 상태를 실시간으로 모니터링하며, 오류 발생 시 즉시 해당 부분을 예비 자원으로 대체해 작업을 빠르게 재개한다. 마치 숙련된 팀이 위기 상황에서 유연하게 역할을 조정하는 것처럼 시스템 전체의 중단 없이 작업을 이어나갈 수 있다.

또 일반적인 서버와 데이터센터 환경과는 달리, AI 컴퓨팅은 초고밀도로 집적된 시스템에서 긴밀한 협업이 필요하다. 프로세서 간 물리적 거리를 최소화하는 고밀도 시스템은 인프라의 최적 설계 방식과 전력 관리에 대한 새로운 관점을 요구한다. 단순히 개별 칩의 성능을 높이는 것을 넘어 시스템 전체의 와트당 성능을 극대화하는 방향으로 설계해야 한다. TPU는 AI 연산에 불필요한 기능을 제거해 전력 소모를 최소화하고, 효율적인 냉각 시스템과 결합돼 최적의 성능을 낸다. 이는 인프라 확장 시 전력 문제를 해결하고, 데이터센터의 운영 효율을 극대화하는 핵심 요소다.