오케스트로-퓨리오사AI, 국산 NPU 상용화 맞손…공공·금융 시장 공략

콘체르토 AI에 국산 NPU 지원…BMT·실증 거쳐 실제 구축 사업 추진

오케스트로와 퓨리오사AI가 국산 신경망처리장치(NPU)를 기반으로 한 인공지능(AI) 인프라 상용화에 나선다. 실제 고객 실증을 거쳐 공공·금융·기업 시장에서 공동 사업을 확대한다는 전략이다.

오케스트로 그룹은 퓨리오사AI와 지난 18일 서울 강남구 퓨리오사AI 본사에서 NPU 기반 AI 인프라 및 플랫폼 기술·사업 협력을 위한 업무협약(MOU)을 체결했다고 21일 밝혔다.

양사는 올해 초부터 퓨리오사AI의 2세대 NPU '레니게이드(RNGD)'와 오케스트로의 AI 인프라 소프트웨어를 연계하는 기술 협력을 진행해왔다.

백준호 퓨리오사AI 대표(왼쪽), 김민준 오케스트로 그룹 의장 (사진=오케스트로)

퓨리오사AI의 NXT RNGD 서버를 오케스트로 AI 인프라 환경에 구축해 호환성과 주요 기능을 검증하고 RNGD 기반 대규모언어모델(LLM)을 실제 서비스 환경에서 안정적으로 배포·서빙·운영하기 위한 기술을 단계적으로 구현했다.

이를 바탕으로 오케스트로는 기존 그래픽처리장치(GPU) 중심으로 제공해온 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'의 지원 범위를 RNGD까지 확대했다.

콘체르토 AI는 AI 모델 배포와 서빙, 컴퓨팅 자원 관리, 서비스 모니터링 등을 통합 지원하는 AI 추론 인프라 플랫폼이다. 양사는 NPU 기반 LLM 서빙 환경을 직접 구성해야 하는 부담을 줄이고 NPU에서도 AI 서비스를 구축·운영할 수 있는 환경을 마련했다고 설명했다.

GPU와 NPU를 함께 활용하는 이기종 AI 인프라 운영 기술도 강화한다. 콘체르토 AI는 요청 특성과 가속기 자원을 고려해 추론 경로를 구성하는 지능형 라우팅과 토폴로지 기반 스케줄링 기능을 지원한다.

이를 통해 GPU와 NPU 등 서로 다른 AI 가속기를 서비스와 워크로드 특성에 따라 활용할 수 있도록 한다. 향후 모델과 추론 런타임, AI 가속기를 아우르는 통합 운영·모니터링 기술도 고도화할 계획이다.

이번 협약을 계기로 양사는 기술 검증 중심의 협력을 실제 고객 사업으로 확대할 방침이다. 다양한 AI 모델과 워크로드를 대상으로 RNGD 기반 AI 인프라의 성능과 안정성을 검증하고 고객 대상 벤치마크테스트(BMT)와 실증을 진행해 실제 서비스 환경에 적합한 구축·운영 모델을 구체화할 계획이다.

공공·금융·기업 고객의 AI 서비스 요구와 워크로드 특성에 맞춰 RNGD 기반 인프라를 공동 설계·제안하고 BMT와 실증을 실제 구축 사업으로 연결한다는 방침이다. 공동 영업과 마케팅, 기술 지원을 통해 산업별 구축 사례를 확보하고 신규 사업 모델도 발굴한다.

오케스트로의 AI 인프라 풀스택 소프트웨어와의 연계도 확대한다. 서버 가상화 솔루션 '콘트라베이스', 클라우드 네이티브 운영 관리 플랫폼 '비올라', 멀티·하이브리드 클라우드 통합 관리 플랫폼 '오케스트로 CMP', 데브옵스 솔루션 '트럼본' 등을 활용해 AI 인프라 구축부터 플랫폼 운영과 통합 관리까지 지원한다.

양사는 국산 AI 모델과 가속기, AI 인프라 소프트웨어를 결합한 'K-AI 인프라' 생태계 확산에도 협력한다. RNGD와 오케스트로의 AI 인프라 기술을 기반으로 공공·금융·기업의 프라이빗 AI와 소버린 AI 구축 수요를 공략하고 국산 NPU 기반 AI 인프라의 적용 범위를 확대한다는 목표다.

백준호 퓨리오사AI 대표는 "AI가 실제 기업·공공 환경에 확산되면서 AI 가속기의 성능과 전력 효율뿐 아니라 다양한 AI 워크로드를 안정적으로 배포·운영할 수 있는 소프트웨어와 인프라 역량의 중요성이 더욱 커지고 있다"며 "오케스트로의 AI 인프라 소프트웨어 스택과 RNGD를 결합해 대규모 AI 데이터센터와 토큰 팩토리를 최적으로 운영할 수 있는 풀스택 솔루션을 구현하고 공공·금융·기업 고객의 실제 서비스 환경에서 상용 구축을 지속 확대해 나가겠다"고 말했다.

김민준 오케스트로 그룹 의장은 "올해 초부터 퓨리오사AI와 긴밀한 기술 협력을 이어오며 NPU에서도 AI 모델을 손쉽게 배포·서빙하고 운영할 수 있는 기술 기반을 마련하고 GPU와 NPU를 아우르는 AI 추론 인프라로 콘체르토 AI의 기술 범위를 확장해 왔다"며 "이번 협약을 계기로 기술 검증을 고객 실증과 사업화로 연결하고 양사 기술 경쟁력을 결합해 공공·금융·기업 시장에서 새로운 AI 인프라 레퍼런스를 만들어 나가겠다"고 밝혔다.