엔비디아, '메트로폴리스' 기능 추가…"영상 이해·판단하는 AI 구축"

코스모스 기반 비전 AI 에이전트 개발 6배 단축…산업 현장 적용 확대

엔비디아가 산업 현장의 영상을 이해하고 상황에 맞춰 판단하는 비전 인공지능(AI) 에이전트 개발 환경을 강화했다. 

엔비디아는 '엔비디아 메트로폴리스'로 코스모스 기반 비전 AI 에이전트 개발을 지원하는 80개 이상 신규 스킬을 제공한다고 20일 밝혔다. 이를 통해 관련 개발 작업을 최소 6배 빠르게 수행할 수 있다는 설명이다. 

비전 AI 에이전트는 카메라 영상을 단순히 인식하거나 화면에 표시하는 수준을 넘어선다. 실시간 영상으로 운영 상황과 주변 환경을 이해하고 문제 원인을 추론한 뒤 필요한 대응까지 수행하는 시스템이다.

엔비디아가 산업 현장의 영상을 이해하고 상황에 맞춰 판단하는 비전 인공지능(AI) 에이전트 개발 환경을 강화했다. (사진=엔비디아)

새로운 개발 환경에는 '엔비디아 VSS 블루프린트 3.2'와 '딥스트림 9.1' 'TAO 7' '피지컬 AI 데이터 팩토리'가 포함됐다. 데이터 수집과 영상 분석 파이프라인 구축부터 합성 데이터 생성, 모델 미세 조정, 대규모 에이전트 배포까지 비전 AI 개발 전 과정을 지원한다.

VSS 블루프린트 3.2는 개발자가 자연어를 사용해 실시간 영상이나 녹화 영상을 분석하는 에이전트를 만들 수 있게 돕는다. 대규모 카메라 네트워크를 상시 감시하면서 이상 상황을 알리고, 영상을 요약하거나 특정 장면을 검색하는 기능도 구현할 수 있다.

딥스트림 9.1은 엣지부터 클라우드까지 연결되는 실시간 다중 센서 영상 분석 파이프라인을 제공한다. 대규모 영상 데이터를 수집하고 여러 카메라에 등장한 사람이나 사물을 연속으로 추적하며 현장 운영 상황을 분석하는 데 활용할 수 있다.

TAO 7은 데이터 라벨링과 성능 진단, 모델 미세 조정, 데이터 생성, 자동화된 머신러닝을 지원한다. 개발자는 이를 통해 엔비디아 코스모스를 비롯한 비전 AI 모델을 산업별 환경에 맞게 조정하고 최적화할 수 있다.

피지컬 AI 데이터 팩토리는 코스모스로 합성 이미지와 영상을 자동 생성하고 학습 데이터를 확장한다. 실제 현장에서 자주 발생하지 않는 제품 결함이나 환경 변화 같은 예외 상황을 인위적으로 만들어 비전 모델의 학습 공백을 보완할 수 있다.

일본 기업들은 엔비디아 메트로폴리스를 제조와 건설, 철도, 유통, 공공시설 등에 적용하고 있다. 오므론은 VSS 기반 영상 분석 에이전트로 자동 검사를 강화하고 있으며 시미즈건설은 건설 작업자의 안전 관리를 위해 관련 기술을 시범 운영하고 있다.

히타치는 건물과 철도 인프라의 문제를 식별하는 HMAX 솔루션에 VSS 기반 에이전트를 활용하고 있다. 엔비디아에 따르면 해당 솔루션이 철도 분야에서 유지보수 비용과 에너지 소비를 15% 줄였다고 밝혔다. 

후지쯔는 자체 코즈치 AI 플랫폼에 VSS와 에이전틱 메모리 기술을 결합했다. 장시간 영상을 운영 지식으로 변환해 제조와 물류, 유통, 스마트 공간에서 필요한 의사결정을 지원한다.

엔비디아는 "반도체와 AI 모델뿐 아니라 데이터 생성과 학습, 영상 처리, 에이전트 배포 도구까지 묶어 피지컬 AI 생태계에 대한 영향력을 확대할 것"이라고 밝혔다.