아카마이, 엔비디아와 AI 추론 클라우드 구축…엣지로 분산

ACC 2025에서 '아카마이 인퍼런스 클라우드' 전략 공개…GPU·글로벌 엣지 결합한 분산형 AI 인프라 제시

아카마이가 오는 11일 개최하는 'AI&클라우드 컨퍼런스 2025(ACC 2025)'에서 인공지능(AI) 추론을 중앙 데이터센터에서 글로벌 엣지까지 확장하기 위한 전략을 소개한다.

아카마이는 서울 신라호텔에서 열리는 ACC 2025에 참가해 엔비디아와 협력해 구축 중인 '아카마이 인퍼런스 클라우드(Akamai Inference Cloud)'의 비전과 기술 구조를 공개한다고 2일 밝혔다.

이번 발표에서 아카마이는 분산 클라우드 플랫폼과 엔비디아 GPU 인프라를 결합해, AI 모델 추론을 글로벌 엣지 네트워크에서 효율적으로 실행하는 방식을 중심으로 엣지 AI 전략을 공유할 예정이다.

아카마이 인퍼런스 클라우드(이미지=아카마이)

아카마이는 AI 인퍼런스의 핵심을 ‘데이터가 생성되는 곳에서 모델을 추론하는 것’으로 정의한다. 기존에는 중앙 데이터센터나 특정 리전의 대형 클라우드에 트래픽을 모아 처리하는 방식이 일반적이었지만, 실시간성이 중요한 서비스에서는 네트워크 지연이 한계로 지적돼 왔다. 

아카마이는 전 세계 4천200개 이상으로 알려진 엣지 PoP를 기반으로, 사용자와 가장 가까운 지점에서 데이터를 처리해 응답 지연을 최소화하는 분산형 추론 방식을 내세운다.

아카마이 인퍼런스 클라우드는 엔비디아 RTX 프로 6천 블랙웰 서버 에디션 GPU와 엔비디아 블루필드-3 DPU, 엔비디아 AI 엔터프라이즈 소프트웨어를 탑재한 엔비디아 RTX 프로 서버를 아카마이 분산 클라우드 인프라와 결합한 구조다.

아카마이는 이 인프라 위에 엣지 AI 아키텍처를 더해, 코어 데이터센터부터 엣지까지 동일한 환경에서 AI 추론 워크로드를 배치하고 확장할 수 있도록 설계했다. 

회사 측은 이를 통해 저지연 실시간 추론은 물론, 모델 보호와 API 보안을 통합 제공하는 것이 특징이라고 설명한다.

아카마이 인퍼런스 클라우드는 크게 GPU 가속 인프라, 엣지 AI 아키텍처, 분산형 AI 서비스 레이어로 구성된다. 기업은 고성능 GPU 인프라 위에 생성형 AI·추천·검색·대화형 에이전트 등을 올리고, 글로벌 엣지 위치를 통해 지역별로 필요한 처리량만큼 유연하게 확장하는 방식으로 활용할 수 있다. 

아카마이는 특히 AI 추론이 급격히 늘어나는 피크 시간대에도, 엣지 단으로 부하를 분산해 비용과 성능을 동시에 관리할 수 있다는 점을 장점으로 내세운다.

활용 분야도 넓게 제시된다. 생성형 AI(GenAI) 영역에서는 실시간 데이터 분석과 콘텐츠 생성, 개별 사용자 맥락에 맞춘 응답 제공을 위해 엣지 추론을 적용할 수 있다. 게임 분야에서는 반응 속도가 중요한 매치메이킹, 부정 행위 탐지, NPC(Non-Player Character) AI 등에 엣지 추론을 도입해 지연을 줄이는 시나리오가 제시된다. 

미디어, 스트리밍 서비스에서는 대규모 동시 접속 환경에서 개인화 추천과 실시간 자막, 요약 생성 등에 적용할 수 있고 보안 영역에서는 ‘파이어월 포 AI(Firewall for AI)’와 같은 AI 특화 보안 솔루션과 연계해 프롬프트 인젝션, 모델 악용 시도를 탐지·차단하는 구조를 표방한다.

아카마이는 향후 로드맵으로 엣지 AI 게이트웨이와 '서비스형 웹 어셈블리(WaaS)'를 제시했다. 엣지 AI 게이트웨이는 사용자 단말과 백엔드 AI 서비스 사이에서 트래픽을 중계하면서, 요청을 위치·지연·모델 특성에 따라 최적의 인퍼런스 노드로 라우팅하는 관문 역할을 하도록 설계된다. 

WaaS는 웹어셈블리(WebAssembly) 기반 실행 환경을 서비스 형태로 제공해, 개발자가 사용 언어와 상관없이 경량 코드를 엣지에서 실행하고 AI 전·후처리 로직을 빠르게 배포할 수 있도록 지원하는 개념이다. 

아카마이 관계자는 "엣지 AI 게이트웨이와 WaaS 같은 기술을 기반으로 클라우드 인프라의 진화를 계속 이끌어가겠다"며 "이를 통해 고객은 더 빠르고 효율적인 AI 추론 서비스를 경험하게 될 것"이라고 말했다.

이번 ACC 2025는 ‘효율을 넘어 성과로, AI가 바꾸는 새로운 비즈니스 전략’을 주제로, 이미 검증된 AI·클라우드 활용 사례와 성공·실패 경험을 공유하는 실전형 컨퍼런스로 꾸려진다.

아카마이는 발표 세션과 함께 전시 부스도 운영해 인퍼런스 클라우드와 엣지 AI 데모를 선보일 계획이다. 참가를 원하는 기업과 관계자는 ACC 2025 공식 웹사이트에서 사전 등록 및 문의를 할 수 있다.