지코어 CEO "생성형 AI는 엣지에서 꽃 피울 것"

[인터뷰] 지코어 안드레 레이텐바흐 CEO, 파브리스 모이잔 CRO

"한국은 IT 강국이면서 다양한 제품과 서비스를 수출하는 국가다. 작년 한국 시장에서 AI 칩 수요에 대응하려 AI 인프라를 저변에 구축했다면, 올해는 인프라 구축에서 나아가 유즈케이스를 찾아내는 것에 집중하고 있다. 기업이 AI를 실행하는 단계에 돌입했다고 보고 추론이나 엣지의 다방면 서비스를 배포하고 부하를 줄이는 방법으로 서비스를 진행중이다. 엔비디아의 새로운 칩도 액체 냉각 역량을 갖춘 데이터센터만 확보되면 바로 도입할 예정이다.”

안드레 레이텐바흐 지코어 창업자 겸 최고경영자(CEO)는 최근 본지와 인터뷰에서 이같이 밝혔다.

2014년 룩셈부르크에 설립된 지코어는 전세계 180 개 이상의 PoP를 기반으로 한국을 비롯해 중국, 일본 등으로 강력하고 안전한 클라우드 및 엣지 컴퓨팅 솔루션을 확장하며 아태지역에서의 영향력을 확대해 나가고 있다. 이는 엔터프라이즈 급 AI GPU 클라우드 인프라에 대한 고객 수요의 증가, 그중에서도 엔비디아 기반 머신러닝 트레이닝과 AI 애플리케이션을 위한 엣지 추론에 대한 필요성이 늘고 있는데 따른 것이다.

안드레 레이텐바흐 지코어 설립자 겸 CEO

작년 오픈AI 챗GPT로 촉발된 생성형 AI 열풍은 전세계 기업의 대규모언어모델(LLM) 개발 붐을 일으켰다. 이에 언어모델 훈련에 필수재로 꼽히는 고성능 엔비디아 GPU가 공급부족 현상을 보였다. 지코어는 엔비디아 텐서코어 H100 GPU 기반 데이터센터를 각국에 배포해 기업의 LLM 개발 수요를 지원했다. 한국 기업도 지난 4월15일 H100 GPU 클러스터를 갖춘 지코어 데이터센터를 국내에서 이용할 수 있게 됐다. 지코어는 또한 지난 6 월 사전 학습된 머신러닝 모델을 지코어 엣지 추론 노드 중 사용자와 가장 가까운 위치에서 응답할 수 있도록 해 초저지연 추론을 실시간 제공하는 ‘인퍼런스 앳 더 엣지(Inference at the Edge)’ 솔루션을 출시했다.

안드레 레이텐바흐 CEO는 “한국 투자의 경우 한국 지역 회사 파트너를 더 잘 지원하는 역량을 갖출 수 있게 팀을 더 강화하는 방면으로 투자할 것”이라며 “마케팅, 엔지니어링, 파트너십 등의 인력을 계속 공고히하고, 인프라 투자도 계속 진행할 계획”이라고 말했다.

그는 “최근 한국에 도입한 기술 중 하나는 AI 중심의 콘텐츠를 인지하는 부분”이라며 “고객이 원하는 콘텐츠를 필터링하고 중재하고, 원하는 방식으로 콘텐츠를 인지하게 하는 방식도 진행하고 있는데, 이는 데이터가 잘 보호되고 보안을 지킬 수 있게 하는 방안”이라고 덧붙였다.

지코어는 올해 들어 생성형 AI의 흐름이 모델 학습에서 추론 모델 구동 부분으로 이동하고 있다고 보고 있다. 글로벌과 유사하게 국내 기업에서도 AI 추론 수요가 증가할 것으로 예상한다. 이런 추세에 대응하려 집중하는 부분이 ‘인퍼런스 앳 더 엣지’다.

이 솔루션은 사전 학습된 머신러닝 모델을 전세계에 분포돼 있는 엣지 추론 노드 중 사용자와 가장 가까운 경로 또는 위치에서 응답할 수 있도록 함으로써 원활한 실시간 추론을 보장한다. 180 개 이상의 엣지 노드로 구성된 지코어의 광범위한 글로벌 네트워크(PoP)에서 실행되며, 모두 지코어의 정교한 저지연 스마트 라우팅 기술로 상호 연결된다. 고성능의 각 노드는 지코어 네트워크 중 최종 사용자와 가까운 엣지에 전략적으로 배치된다. 지코어 각 엣지에서의 AI 추론은, 이를 위해 특별히 설계된 엔비디아 L40S GPU에서 실행된다. 사용자가 요청을 보내면 엣지 노드는 지연 시간이 가장 짧은, 가장 가까운 엣지 추론 노드로 경로를 설정해 일반적으로 30 밀리초(ms) 미만의 응답 시간을 보장한다. 네트워크 간 최대 대역폭도 200Tbps 로 학습 및 추론 능력이 가능하다.

인퍼런스 앳 더 엣지는 광범위한 기본 머신러닝 및 커스텀 모델을 지원한다. 지코어 머신

러닝 모델 허브에서 라마 프로 8B, 미스트랄 7B, 스테이블디퓨전 XL 등의 오픈 모델을 사용할 수 있다. 여러 형식 또는 여러 소스로부터 데이터를 수신해, 모델을 사용 사례에 맞게 선택하고 학습한 후 전 세계에 위치하고 있는 인퍼런스 앳더 엣지 노드에 배포할 수 있다.

파브리스 모이잔 지코어 최고수익책임자(CRO)

인터뷰에 함께 한 파브리스 모이잔 지코어 최고수익책임자(CRO)는 “지코어가 10년 간 공고하게 구축해놓은 CDN 인프라를 최대한 활용하는 서비스로 보안과 패스트엣지를 갖춘 AI를 제공하고자 한다”며 “엣지 AI는 저지연이고 보안도 강화한 기술로, 이미 여러 금융서비스와 금융사에서 활용되고 있으며, 보안과 저지연성은 자율주행차나 휴머노이드 로봇 같은 AI에서 필수적인 요소”라고 밝혔다.

그는 “한국은 세계적으로 중요한 자동차 제조사 두곳이 있고, 세계적인 통신회사와 통신서비스를 자랑하고 있다”며 “LLM은 이런 분야에서 혁신을 이룰 것이라고 생각한다”고 덧붙였다.

지코어 인퍼런스 앳더는 유연한 가격구조로 사용한 자원에 대해서만 비용을 지불할 수 있으며, 디도스 공격에도 머신러닝의 각 엔드포인트를 자동으로 보호하는 내장형 디도스 보호 기능을 갖췄다.

모델 자동확장 기능으로 모델이 항상 최대 수요는 물론 예기치 않은 로드 급증을 지원하고, 진화하는 요구에 맞춰 아마존 S3 호환 클라우드 오브젝트 스토리지를 무제한으로 제공한다. 뿐만 아니라 FaaS 기반으로 동작되기 때문에, 자체 개발모델을 포함해 어떤 레퍼지토리에 있는 모델이든, 손쉽게 전세계로 서비스를 할 수 있다. 로드 밸런싱과 부하 증감에 따른 시스템의 변경도 맡겨 둘 수 있다. 개발자는 서비스의 배포를 걱정할 필요없이 본연의 업무에 집중할 수 있다. 모델의 크기에 따라서 적절한 가속기와 자원을 선택할 수 있으며, 서비스의 확장에 따른 컨테이너의 배포수량도 지역별로 정의할 수가 있다. 손쉬운 서비스는 더 많은 횟수의 서비스 레벨 사전 테스트를 가능케 하므로, 실질적인 서비스의 품질 향상에도 도움을 주게 된다.

안드레 레이텐바흐 CEO는 "지코어 인퍼런스 앳더 엣지는 고객이 전 세계에 AI 애플리케이션을 배포하는 데 필요한 비용, 기술, 인프라를 걱정할 필요 없이 머신러닝 모델을 학습시키는 데 집중할 수 있도록 지원한다”며 “지코어는 엣지가 최고의 성능과 최종 사용자 경험을 제공하는 곳이라고 믿으며, 모든 고객이 탁월한 규모와 성능을 누릴 수 있도록 지속적으로 혁신해 나가고 있다”고 말했다.

그는 “지코어의 자랑은 유연성이며, 서비스를 배포할 때 이미 트레이닝된 모델도 제공하지만 고객이 원하는 LLM을 우리쪽에 배포해서 원하는 방식으로 사용가능하다”며 “우리의 방식과 고객의 방식 다 제공 가능해서 극강의 유연성을 자랑한다”고 강조했다.

파브리스 모이잔 CRO는 “지코어는 엣지 AI를 생각하고 배포하고자 하는 고객에게 정말 실행할 수 있게 하는 부분을 지원할 수 있다”며 “한국 고객사에게 미래로 일컬어지는 엣지 AI로 갈 수 있는 가장 빠른 길을 제안할 수 있다”고 밝혔다.

파브리스 모이잔 지코어 CRO(왼쪽)와 안드레 레이텐바흐 지코어 CEO.

인퍼런스 앳 더 엣지는 특히 GDPR, PCI DSS, ISO/IEC 27001 등 업계표준을 준수하는 데이터 프라이버시 및 보안을 보장한다.

안드레 레이텐바흐 CEO는 “특히 많은 사람이 데이터 주도권, 데이터 보안 이슈를 걱정하고 있다”며 “지적재산권 문제에 대해서도 여러 기업과 함께 해결책을 모색하고자 한다”고 말했다.

파브리스 모이잔 CRO는 “지코어는 유럽 회사기 때문에 GDPR과 전세계 최초의 AI 법에 대응하는 경험을 가졌으며 10년간 보안 솔루션을 제공해왔다”며 “데이터 보안과 주권에 대해 선도 기업이라 자신하며, 유럽회사로서 더 중립적으로 서비스를 제공할 수 있고, 사우디아라비아에서 프라이빗 소버린 클라우드 구축 계획도 발표했다”고 설명했다.

안드레 레이텐바흐 CEO는 “한국은 매우 빠르고, 기술을 선도하는 기업이 많은 나라기 때문에 한국 기업과 협업하면 세계가 어디로 향하는지 알 수 있다”며 “그들과 같이 성장하고 생태계를 발전시킬 수 있도록 노력하겠다”고 강조했다.