레드햇-NTT, IOWN 기술로 엣지 AI 분석 강화

레드햇과 일본 통신 기업 NTT는 차세대 통신 표준 협의체 아이온(IOWN) 이니셔티브의 일환으로 엔비디아 및 후지쯔와 협력해 엣지에서 실시간 생성형 AI 데이터 분석을 향상하고 확장할 수 있는 솔루션을 공동 개발했다고 27일 밝혔다.

이 솔루션은 아이온 글로벌 포럼에서 개발한 기술을 사용해 쿠버네티스 기반 레드햇 오픈시프트 상에 구축됐으며, 실제 실행 가능성 및 사용 사례에 대해 ‘아이온 글로벌 포럼의 개념 증명(POC)을 획득했다.

AI 센싱 기술과 네트워킹 혁신이 가속되고 특히 데이터 소스가 빠르게 확장됨에 따라, 네트워크 엣지에서 데이터를 평가하고 분류하는데 있어 AI 분석 활용의 중요성이 더욱 커지고 있다. 그러나 AI 분석을 대규모로 사용하는 것은 속도가 느리고 복잡할 수 있으며, 새로운 AI 모델과 추가적인 하드웨어로 인한 관리 비용과 소프트웨어 유지 비용이 증가할 수 있다. 더 많은 원격지에서 엣지 컴퓨팅이 가능하게 되면 AI 분석을 센서에 더 가깝게 배치함으로써 지연 시간을 줄이고 대역폭을 늘릴 수 있게 된다.

레드햇과 NTT의 이번 솔루션은 아이온 올 포토닉스 네트워크(APN)과 아이온 데이터 중심 인프라(DCI) 내의 데이터 파이프라인 가속 기술로 구성돼 있다. NTT의 AI용 가속 데이터 파이프라인은 APN을 통한 원격 직접 기억장치 접근(RDMA) 방식을 채택해 엣지에서 대량의 센서 데이터를 효율적으로 수집하고 처리한다.

레드햇 오픈시프트의 컨테이너 오케스트레이션 기술은 지리적으로 분산돼 있는 원격 데이터 센터들에 걸쳐 있는 가속 데이터 파이프라인 내에서 워크로드를 보다 유연하게 운영할 수 있도록 지원한다. 레드햇과 NTT는 이번 솔루션이 엣지에서 이뤄지는 실시간 AI 분석을 위한 저지연성과 낮은 전력 소비량을 확보할 수 있음을 성공적으로 입증했다.

양사는 개념 증명(PoC)을 통해 일본 요코스카 시를 센서 설치 거점으로, 무사시노 시를 원격 데이터센터로 go 두 곳 모두 APN으로 연결된 상태에서 실시간 AI 분석 플랫폼을 평가했다. 그 결과, 많은 수의 카메라를 포함한 경우에도 AI 분석을 위한 센서 데이터를 집계하는 데 필요한 지연 시간이 종래의 AI 추론 워크로드 대비 60% 줄었다. 엣지의 각 카메라 별 AI 분석에 필요한 전력 소비량이 기존 기술보다 40% 절감될 수 있음이 입증됐다. 이 실시간 AI 분석 플랫폼을 사용하면 CPU의 병목 현상 없이 더 많은 수의 카메라를 수용할 수 있도록 GPU를 확장할 수 있다. 시범 계산에 따르면 1천대의 카메라를 수용할 수 있는 규모라고 가정한다면 전력 소비량을 60%까지 줄일 수 있을 것으로 예상된다.

NTT가 제공하는 AI 추론을 위한 가속 데이터 파이프라인은APN을 통한 RDMA를 활용해 각지의 대규모 센서 데이터를 원격 데이터 센터의 가속기 내 메모리로 직접 가져와 기존 네트워크의 프로토콜 처리 오버헤드를 줄인다. 이후 더 적은 CPU 제어 오버헤드로 가속기 내에서 AI 추론의 데이터 처리를 완료해 AI 추론의 전력 효율을 개선한다.

레드햇 오픈시프트 기반의 실시간 대규모 AI 데이터 분석은 쿠버네티스 오퍼레이터가 하드웨어 기반 가속기(GPU, DPU 등) 구현의 복잡성을 최소화할 수 있도록 지원해 원격 데이터센터를 비롯한 분산된 위치 전반에 걸쳐 유연성을 개선하고 배포를 용이하게 한다.

이 개념 증명은 AI 추론을 위해 엔비디아 A100 텐서 코어 GPU와 엔비디아 커넥트X-6 NIC를 사용한다.

이번 솔루션은 지능형 AI 지원 기술의 기반을 마련하고 이를 통해 비즈니스의 지속 가능한 확장을 돕는다.

크리스 라이트 레드햇 최고기술책임자, 글로벌 엔지니어링 수석 부사장 겸 아이온 글로벌 포럼 이사회 이사는 "우리는 아이온 글로벌 포럼의 일원으로서 지난 몇 년 동안 오픈소스 기반 AI 혁신의 무대를 마련하고 미래를 위한 더 현명한 선택을 가능케 하는 기술을 제공하기 위해 노력해왔다”며 “이번 결과를 통해 우리는 전세계 기업을 위한 지속 가능하고 혁신적인 AI 기반 솔루션을 구축할 수 있음을 입증할 수 있었다"고 밝혔다.

카츠히코 카와조에 NTT 수석 부사장 겸 아이온 글로벌 포럼 회장은 "NTT 그룹은 파트너와 긴밀하게 협업하며 지속 가능한 사회를 실현하기 위해 아이온의 발전에 박차를 가하고 있다”며 “이번 아이온 PoC는 AI의 집단 지성을 지원하는 AI용 그린 컴퓨팅을 향한 중요한 진전”이라고 강조했다.