아카마이 "엣지로 '초저지연' AI 추론 시대 열 것"

[ACC 2025] 아카마이코리아 강상진 상무 "4천400개 POP으로 산업 공략"

"인공지능(AI) 경쟁력은 모델 크기가 아니라 완성된 모델을 얼마나 빠르고 안정적으로 실행할 수 있는지에 달렸습니다. 초저지연 AI 추론 환경이 중요해진 이유입니다. 추론에 강한 엣지 인프라 전략이 AI 서비스 성패를 가를 것입니다."

아카마이코리아 강상진 상무는 11일 호텔신라 다이너스티홀에서 열린 'AI & 클라우드 컨퍼런스 2025(ACC 2025)'에서 초저지연 AI 추론 인프라 중요성을 이같이 밝혔다. 

그는 "현재 AI 비용 구조에서 추론이 70~95%를 차지할 만큼 압도적"이라며 "학습에 쓰이는 비용은 전체 5~25% 수준에 그친다"고 설명했다. 이어 "이는 소수 빅테크 기업만이 초대형 학습을 수행하고, 다수 기업은 완성된 모델을 서비스에 통합해 활용하는 방식으로 전환했기 때문"이라고 배경을 밝혔다. 

아카마이코리아 강상진 상무.

강 상무는 초저지연 AI 추론 중요성이 더 높아질 것이라고 내다봤다. 추론 단계에서 발생하는 지연은 서비스 품질과 사용자 경험에 직접적인 영향을 미친다는 이유에서다. 그는 "기존 중앙 집중형 리전으로는 초저지연 요구를 총족하기 힘들다"고 말했다. 

현재 아카마이는 전 세계 4천400여 개 네트워크 거점(POP) 기반으로 한 분산 엣지 플랫폼으로 AI 모델의 추론을 지역 단위로 나누고 있다. 이는 폭증하는 추론을 지역 단위로 나눠 AI 서비스 지연을 최대한 줄일 수 있는 구조다. 

그는 "일반적인 리전 기반 접근이 100밀리세컨드(ms) 수준의 지연을 보인다면, 엣지 기반 추론은 5~10ms까지 줄일 수 있다"며 "이 속도 차이가 새로운 AI 시장을 좌우하게 될 것"이라고 강조했다.

아카마이는 엣지 추론 효과가 즉각적으로 드러나는 영역으로 게임이나 이커머스, 사물인터넷(IoT), 자율주행·5G 분야를 꼽았다. 

강상진 상무는 AI 추론 시대가 곧 엣지 시대라고 강조했다.

예를 들어 동시 접속자가 많은 모바일 게임이나 ms 단위의 반응이 필요한 스마트 디바이스는 중앙 서버와의 거리가 길어질수록 성능 저하가 뚜렷하다. 반면 엣지에서 추론을 수행하면 사용자 인근에서 AI가 반응하기 때문에 성능과 안정성을 동시에 확보할 수 있다는 설명이다.

강 상무는 "AI 추론 시대는 곧 엣지 시대"라며 "분산 네트워크를 통한 엣지 전략이 기업 AI 서비스 품질을 좌우할 것"이라고 강조했다.