아카마이, 4400개 엣지로 AI 추론 속도·비용 개선

'AI 그리드 지능형 오케스트레이션' 출시…엔비디아 기술 적용

아카마이가 글로벌 엣지 인프라 기반으로 분산형 인공지능(AI) 추론 체계를 강화해 실시간 AI 처리 성능을 높였다. 

아카마이는 4400개 엣지 거점을 활용한 'AI 그리드 지능형 오케스트레이션'을 출시했다고 18일 밝혔다. 

이는 엔비디아 AI 인프라를 통합한 인퍼런스 클라우드로 엣지·코어 전반에서 AI 워크로드를 지능형으로 분산 처리하는 구조다.

아카마이 로고. (사진=아카마이)

이번 기술 핵심은 AI 요청을 실시간으로 배분하는 오케스트레이터다. 토큰당 비용과 첫 응답 시간 처리량을 동시에 고려해 최적의 인프라로 워크로드를 자동 배치한다. 이를 통해 기업은 기존 중앙 집중형 대비 효율성과 성능을 개선할 수 있다.

아카마이는 시맨틱 캐싱과 지능형 라우팅을 결합해 비용 효율성을 높였다. 고성능 GPU는 고난도 작업에 집중 배치하고 일반 요청은 엣지에서 처리해 전체 인프라 활용도를 끌어올린 구조다. 오픈소스 기반 클라우드를 통해 대규모 데이터 처리에도 유연하게 대응한다.

아카마이는 엣지 기반 처리로 실시간 응답성도 강화했다고 밝혔다. 게임에서는 밀리초 단위 상호작용을 지원하고, 금융에서는 로그인 순간 개인화 서비스를 제공한다. 미디어 분야에서는 실시간 트랜스코딩과 더빙까지 분산 환경에서 수행할 수 있다.

코어 인프라는 대규모 AI 연산을 담당한다. 엔비디아 블랙웰 그래픽처리장치(GPU) 기반 클러스터를 통해 거대언어모델(LLM)과 멀티모달 추론 같은 고부하 작업을 처리하며 엣지와 역할을 분담한다. 이를 통해 코어와 엣지를 연결한 연속적 컴퓨팅 구조를 구현했다.

아카마이는 엣지부터 코어까지 이어지는 인프라를 통해 서비스 수준 계약(SLA) 관리도 강화했다. 블루필드 데이터 처리 유닛(DPU) 기반 네트워킹으로 성능과 보안을 동시에 확보했다. 기업은 이를 통해 다양한 AI 워크로드를 안정적으로 운영할 수 있다.

아담 카론 아카마이 최고운영책임자(COO) 겸 총괄 매니저는 "이번 솔루션은 분산 아키텍처 기반으로 AI 추론을 외부로 확장하는 길을 제시한다"고 밝혔다.