지코어 "삶을 바꾸는 생성 AI의 위치는 엣지"

[ACC+ 2024] 지코어코리아 김진용 팀장

“인공지능(AI)이 인류의 미래를 바꿀 것이라 전망되지만, AI가 어떻게 산업에 연결돼 서비스로 다가오고 경제 생활을 만들어낼 지 알 수 없다. 가시적인 변화는 AI가 생산성으로 이어져야 가능할 것이다. 일반인공지능(AGI)도 중요한 문제고 인류의 미래를 바꾸겠지만, 기업의 먹거리와 인류의 삶을 바꾸는 AI는 결국 엣지에서 있을 것이다.”

지코어코리아 김진용 팀장은 지디넷코리아가 17일 서울 인터컨티넨탈코엑스에서 개최한 '제21회 어드밴스드컴퓨팅컨퍼런스플러스(ACC+) 2024' 기조연설에서 이같이 밝혔다.

김진용 팀장은 "생성형 AI는 2년도 안 돼 부풀려진 기대치의 정점을 찍었고, 곧 환멸의 골짜기에 도달할 것으로 보인다”며 “생성형 AI 기업의 운영 비용은 월 100만달러에 달하는 큰 부담을 주고 실질적인 이익을 벌어들이지 못하는 상황이기 때문”이라고 설명했다.

지코어코리아 김진용 팀장

김 팀장은 “현 시점에서 필요한 것은 기존 자산을 잘 조합하고 새로운 아이디어를 고안해내서 새로운 혁신을 이루는 것”이라며 “AI 학습과 추론, 모델을 묶어서 사용자 가까이 있는 디바이스와 안전한 통신으로 연결되는 모든 세트를 갖춰야 한다”고 강조했다.

지코어는 160개 이상의 국가와 지역에 PoP를 운영하고 있다. 강력하고 안전한 클라우드 및 엣지 AI에 대한 노하우를 보유하고 있는 기업이라고 스스로를 강조한다. 특히 생성형 AI 학습과 추론에 필요한 전용 인프라를 클라우드 서비스로 제공하고 있다.

최근 지코어코리아는 한국 데이터센터를 개소했다. 품귀현상을 보이는 엔비디아 H100 텐서코어 GPU 서버를 설치했다.지코어의 H100 기반 AI 퍼블릭 클라우드 서비스는 SMX5 타입의 H100 GPU를 각 8개씩 탑재한 서버들을 대규모 클러스터로 구성해 강력한 컴퓨팅 능력을 제공한다. AI학습 성능에 가장 큰 영향을 미치는 GPU간 연결을 모두 인피니밴드 NDR(400Gbps)로 구성해 각 서버당 대역폭을 3.2Tbps로 제공한다.

김진용 팀장은 “생성형 AI의 아키텍처는 기존 엔터프라이즈용 애플리케이션과 달리 서비스 부분에서 많은 자원이 필요하다”며 “지코어는 훈련용과 추론용 인프라로 GPU 자원을 제공하며, 더 특별한 수요에 대응하는 IPU도 제공한다”고 말했다.

지코어의 또 다른 강점은 네트워킹 인프라다. 콘텐츠딜리버리네트워크(CDN)에서 시작한 회사란 장점을 살려 초저지연시간을 보장하는 고속 네트워크를 생성 AI에 제공할 수 있다.

지코어의 클라우드 컴퓨팅은 ‘서버리스 컴퓨팅’에 기반한다. 거대언어모델(LLM)을 사용할 때 자원 할당을 별도로 하지 않아도 되며, 실제로 모델을 작동시키는 양만큼만 비용을 내면 된다.

그는 “AI는 지연시간에 민감한 서비스기에 지코어는 글로벌 평균 26밀리초의 지연시간을 유지하며, 한국의 경우 한자릿수 밀리초의 지연시간으로 이용할 수 있다”며 “다양한 LLM을 기업이 모두 미리 깔아놓을 수 없으므로 정말 필요할 때 자원과 모델을 곧바로 활용할 수 있도록 서버리스 컴퓨팅으로 제공하고 있다”고 설명했다.

지코어는 중앙의 인프라와 네트워킹에 더해 엣지 단계에서 AI 모델 추론을 수행할 수 있는 환경도 제공한다. ‘인퍼런스앳더엣지’란 서비스는 160여개 지코어 POP의 캐싱서버에 암페어 알트라맥스와 엔비디아 L40S 칩을 두고 고객의 AI 서비스를 구동할 수 있게 한다. 필요한 LLM도 캐싱해 빠르게 제공할 수 있으며, 유사한 추론을 반복적으로 하게 되는 상황을 감안해 모델응답을 캐시할 수 있다.

김 팀장은 “사용자가 지코어 기잔의 AI 서비스에 접속하면 인퍼런스앳더엣지의 AI 칩으로 다양한 모델을 끌어와 서비스를 돌릴 수 있다”며 “지리적 혹은 정치적 이유에 따른 규제 차이에 맞게 답변과 모델에 차이를 둬야 할 때도 맞춤형으로 대응가능하다”고 말했다.

그는 여기에 ‘5G 보안 네트워크’ 기반으로 생성 AI와 사용자 디바이스를 연결할 수 있다고 했다. 사용자, 기업 등의 데이터가 외부에 유출되지 않도록 제로트러스트 네트워크를 통해 정보를 주고 받을 수 있다. 그는 “어떤 IoT 디바이스든 데이터를 실제 AI 서비스 장소까지 안전하게 전달하는 센서 데이터 보안 확보가 가능하다”

그는 “지코어의 서비스를 통해 ‘모든 것의 인터넷(IoT)’에서 ’모든 것의 AI(AioT)’라 할 수 있게 된다”며 “지코어는 앞으로 AI 시장이 우리 현실 속에 들어온 엣지 디바이스에서 일어날 것으로 생각하며 이를 실현하기 위해 어느 기업보다 먼저 아키텍처를 고안해 선보이고 실제로 잘 움직이도록 잘 조율해 서비스에 녹여왔다”고 강조했다.