엔비디아, '네모트론 3.5 라이트닝' 공개…로컬 AI 생태계 확장

동급 오픈모델보다 토큰 생성 최대 4배 빨라…특정 업무용 파인튜닝 지원

엔비디아가 오픈모델과 소프트웨어·개발자 도구·하드웨어를 아우르는 로컬 인공지능(AI) 생태계 확대에 나섰다. 

엔비디아는 30B 규모 오픈 전문가 혼합 모델 '네모트론 3.5 라이트닝'을 공개하고 여러 대 DGX 스파크를 연결하는 '엔비디아 싱크 클러스터 어시스턴트'를 선보였다고 12일 밝혔다. 메타의 '뮤즈 글리머'와 영상 생성 모델 'LTX-2.5' 등 신규 오픈모델에 대한 그래픽처리장치(GPU) 최적화 지원도 확대했다.

네모트론 3.5 라이트닝은 상시 작동하는 AI 에이전트에 특화된 오픈웨이트 모델이다. 엔비디아에 따르면 동급 오픈모델보다 토큰 생성 속도가 최대 4배 빠르고 작업 완료 시간은 30% 짧다.

엔비디아가 오픈모델과 소프트웨어·개발자 도구·하드웨어를 아우르는 로컬 인공지능(AI) 생태계 확대에 나섰다. (사진=엔비디아)

개발자는 자체 데이터를 활용해 해당 모델을 파인튜닝할 수 있다. 이메일과 보고서 작성 방식부터 전문 분야 용어와 작업 절차, 코딩 규칙, 프레임워크까지 특정 업무 환경에 맞게 조정할 수 있다.

모델은 엔비디아 RTX PC와 DGX 스파크·젯슨에서 로컬로 실행할 수 있다. RTX 프로 워크스테이션과 DGX 스테이션·GB300 데스크사이드 시스템·데이터센터·클라우드로도 확장할 수 있다.

엔비디아는 원활한 로컬 배포를 위해 가상거대언어모델(vLLM)과 올라마(Ollama), 라마닷시피피(llama.cpp), LM 스튜디오 등 주요 추론·배포 도구 개발사와 협력했다. 개발자는 엔비디아의 저정밀 데이터 형식 'NVFP4'와 범용 양자화 모델 형식 'GGUF' 가운데 사용 환경에 적합한 방식을 선택할 수 있다.

에이전트 작업마다 적합한 AI 모델을 자동으로 선택하는 오픈소스 라우팅 라이브러리 '네모 스위치야드'도 제공된다. 정확도와 처리 속도·비용을 기준으로 각 작업 단계를 여러 모델과 서비스에 분산하는 방식이다.

엔비디아 내부 벤치마크에서는 네모 스위치야드가 프론티어 모델 수준의 작업 완료 성능을 유지하면서 비용을 '오퍼스 4.8'의 약 3분의 1로 낮춘 것으로 나타났다. 네모 스위치야드는 깃허브에서 이용할 수 있다.

엔비디아는 대규모 오픈모델을 로컬에서 실행하기 위한 시스템 연결 기능도 강화했다. 엔비디아 싱크의 클러스터 어시스턴트는 두 대 이상의 DGX 스파크를 하나의 고속 클러스터로 구성해 메모리와 추론·훈련 성능을 확장한다.

개발자가 엔비디아 커넥트엑스-7(NVIDIA ConnectX-7) 포트로 시스템을 연결하면 엔비디아 싱크가 네트워크 구성과 노드 간 작업 분배·시스템 상태 점검을 자동으로 수행한다. 윈도와 맥OS에서 연결된 시스템을 감지하고 테일스케일(Tailscale)을 이용한 비공개 원격 접속도 지원한다.

엔비디아는 이달 말 DGX 스파크에 구글 크롬의 네이티브 ARM64 리눅스 버전과 새로운 자원 모니터 기능을 추가할 예정이다. 사용자는 개별 시스템이나 전체 클러스터의 중앙처리장치와 그래픽처리장치 사용량을 실시간 또는 과거 데이터로 확인할 수 있다.

메타가 공개한 300억 파라미터 규모 오픈웨이트 모델 '뮤즈 글리머'에 대한 지원도 확대했다. 코딩과 로컬 에이전트 작업에 특화된 이 모델은 12만 토큰 이상의 컨텍스트 윈도우를 지원하며 RTX 5090에서 초당 200토큰 이상의 처리 성능을 제공한다.

뮤즈 글리머는 단일 소비자용 GPU에서도 실행할 수 있다. 로컬 파일과 이메일을 읽고 요약하거나 인증 정보를 활용해 작업을 수행하고 여러 단계의 도구 호출과 장시간 실행 작업을 처리하도록 설계됐다.

오픈 영상 생성 모델 'LTX-2.5'도 엔비디아 RTX GPU와 DGX 스파크·DGX 스테이션에 최적화됐다. 여러 장면으로 구성된 영상을 생성하면서 캐릭터와 장면·음성의 일관성을 유지하고 기존 영상의 세부 요소를 생성형 AI로 수정할 수 있다.

엔비디아에 따르면 LTX-2.5는 RTX 프로 6000 GPU에서 기존 대비 최대 20% 빠른 처리 성능과 40%의 메모리 절감 효과를 제공한다. 크리에이터는 컴피UI 기반 작업 환경을 이용해 텍스트와 이미지·영상 사이의 변환 작업을 로컬에서 수행할 수 있다.