디지털리얼티 "AI 추론 폭증 시대, 인프라 냉각·전력 효율화 필수"

"인공지능(AI) 산업은 모델 훈련에서 추론 중심으로 전환되고 있습니다. 데이터센터 전략도 이에 맞춰 바뀌어야 합니다. 특히 냉각과 전력 효율, 네트워크 성능 개선이 필요합니다. 성공적인 AI 운영은 타이밍을 잘 맞춘 인프라 전략에서 나옵니다."

디지털리얼티 릭 무어 글로벌 플랫폼 혁신 총괄은 최근 지디넷코리아와 만나 AI를 안정적이고 효율적으로 운영하기 위한 인프라 전략을 이같이 강조했다.

무어 총괄은 크리스 샤프 최고기술책임자(CTO) 산하 조직에서 전 세계 데이터센터를 총괄하고 있다. 특히 AI 인프라 최적화를 비롯한 토크노믹스, 액체 냉각 기술 표준화 등 차세대 데이터센터 설계 방향을 이끌고 있다.

무어 총괄은 "AI 산업은 거대 모델을 구축하던 훈련(training) 단계에서 실시간으로 사용자 요청에 대응하는 추론(inference) 단계로 빠르게 넘어가고 있다"고 설명했다. 구글과 오픈AI, 앤트로픽 등 글로벌 기업이 대규모 모델을 완성하고 이를 비즈니스에 적용하는 단계에 들어섰다는 설명이다.

그는 "추론 과정은 훈련보다 훨씬 많은 요청을 처리해야 한다"며 "특히 에이전틱 AI가 확산하면 실시간으로 수 백만 건 넘는 추론이 매일 발생할 것"이라고 전망했다.

무어 총괄은 이런 변화에 대응하려면 데이터센터 역시 새롭게 설계돼야 한다고 설명했다. 훈련 단계에선 일정 기간 동안 계획적으로 대규모 연산을 수행했지만, 추론 단계에서는 예측하기 어려운 사용자 요청이 실시간으로 몰릴 수 있기 때문이다.

그는 "추론 환경에서는 인프라 부하 패턴이 불규칙하게 나타난다"며 "기업은 이를 감당하기 위해 고밀도 전력 인프라와 효율적 냉각 시스템, 지연 적은 네트워크를 확보해야 한다"고 강조했다.

디지털리얼티는 이런 변화를 반영해 추론 전용 인프라 투자를 확대하고 있다. 생성형 AI뿐 아니라 에이전틱 AI 확산으로 늘어나는 연산 수요를 안정적이고 경제적으로 지원하는 것이 목표다.

디지털리얼티는 추론 전용 인프라 투자를 확대하고 있다. (사진=디지털리얼티)

무어 총괄은 전력·네트워킹 효율을 위한 전략으로 액침 냉각을 꼽았다. 액침 냉각은 서버·컴퓨터 부품을 전기가 통하지 않는 특수한 액체에 직접 담가 열을 식히는 방법이다. 공기보다 열을 훨씬 잘 전달해 고성능 AI 서버나 데이터센터를 효율적으로 냉각할 수 있다. 이를 통해 전력 사용을 줄이고 장비를 안정적으로 운영할 수 있다.

그는 "액침 냉각을 적용하면 전력 효율을 최대 30%까지 높일 수 있다"며 "우리는 글로벌 전 지역에 적용할 수 있는 액침 냉각 표준을 개발 중"이라고 밝혔다. 이어 "기업들이 새로운 냉각 기술을 사전에 테스트할 수 있도록 '디지털리얼티 이노베이션 랩(DRILL)'을 운영하고 있으며, 한국 시장도 이 글로벌 투자 계획에 포함됐다"고 덧붙였다.

"토코노믹스로 인프라 투자 효율↑"...양자 센터 개척 '시동'

무어 총괄은 기업이 AI 인프라 투자 효율성을 높이는 것이 필수적이라고 재차 강조했다.

무어 총괄은 "많은 기업이 AI 모델을 위해 대규모 데이터센터 공간과 네트워크, 서버를 확보하지만 정작 시스템이 얼마나 많은 토큰을 생산하는지 모른다"며 "이 때문에 투자대비수익률(ROI)를 제대로 산출하지 못한다"고 지적했다. 이에 "투자 대비 효과를 정밀하게 측정해야 한다"고 이유를 밝혔다.

디지털리얼티는 효율적 AI 인프라 투자를 위해 토코노믹스 개념을 도입했다. 토코노믹스는 AI 시스템이 실제 생산하는 '토큰'을 단위 삼아 투자 효과를 계산하는 방식이다. 기업이 토큰당 비용을 정확히 파악하면 클라우드를 임대할지, 자체 인프라를 구축할지와 같은 핵심 의사결정을 훨씬 합리적으로 내릴 수 있다는 게 무어 총괄 설명이다.