클라우데라가 엔비디아 기술로 생성형 인공지능(AI) 추론 기능과 개발 안전성을 업그레이드했다. 개발자는 개발 과정을 간소화하고 생성형 AI 애플리케이션 개발을 더 빠르고 안전하게 추진할 수 있을 전망이다.
클라우데라는 엔비디아의 추론 마이크로서비스 엔비디아 NIM으로 구동되는 '클라우데라 AI 인퍼런스'를 출시했다고 10일 밝혔다.
클라우데라 AI 인퍼런스는 업계 최초로 NIM 기능을 제공하는 AI 추론 서비스다. 거대언어모델(LLM) 배포와 관리를 간소화해 기업이 데이터를 최대한으로 활용하고, 생성형 AI를 파일럿 단계에서 완전 생산 단계로 완성할 수 있게 돕는다.
서비스 주요 기능은 ▲고급 AI 기능 ▲하이브리드 클라우드 및 프라이버시 ▲확장성 및 모니터링 ▲오픈 API 및 지속적 통합·배포(CI/CD) 통합 ▲엔터프라이즈 보안 ▲위험 관리된 배포 등이다.
이 제품은 고급 AI 기능을 통해 엔비디아 NIM으로 라마, 미스트랄 등 오픈소스 거대언어모델(LLM)을 최적화한 자연어처리, 컴퓨터 비전, AI 분야 개발을 돕는다. 워크로드를 온프레미스, 클라우드에서 실행하 가능하고 가상 사설 클라우드(VPC) 배포로 보안·규제 준수를 강화했다.
클라우데라 AI 인퍼런스는 자동 확장을 비롯한 고가용성(HA), 실시간 성능 추적으로 문제를 탐지·수정할 수 있다. 이를 통해 효율적인 리소스 관리를 가능케 한다. 또 모델 배포, 관리, 모니터링을 위한 표준 준수 API에 접근할 수도 있다. 이를 통해 CI·CD 파이프라인, ML옵스 워크플로우 통합을 지원한다.
클라우데라는 해당 서비스가 높은 보안성을 갖췄다는 점도 강조했다. 안전한 개발과 배포를 진행할 수 있도록 민감한 데이터가 비공개 영역을 벗어나 공급업체가 호스팅하는 AI 모델 서비스로 유출되는 것을 방지해서다. 이를 통해 빠른 속도로 AI 챗봇, 가상 비서, 에이전트 애플리케이션의 효율적인 개발을 도와 기업의 생산성 향상과 신규 사업을 강화할 수 있다는 설명이다.
개발자들은 엔비디아 텐서코어 그래픽처리장치(GPU)로 최대 36배 빠른 성능과 중앙처리장치(CPU) 대비 약 4배 더 높은 처리량으로 엔터프라이즈급 LLM을 구축·맞춤화· 배포할 수 있다.
클라우데라 AI 인퍼런스는 사용자인터페이스(UI), API가 엔비디아 NIM 컨테이너와 직접 통합돼 명령줄 인터페이스(CLI), 별도의 모니터링 시스템이 필요 없다.
클라우데라는 개발자들이 이 서비스로 기존보다 더 안전하고 빠른 AI 추론 기능을 경험할 수 있다는 입장이다. 최근 딜로이트 조사에 따르면 개발 업계에서 복잡한 접근법을 지양하고 보안성과 확장성을 갖춘 솔루션 요구가 늘어난 것으로 알려졌다.
클라우데라 딥토 차크라바티 최고제품책임자(CPO)는 "이용자는 소프트웨어(SW)로 강력한 AI 애플리케이션을 만들고, 고성능 AI 애플리케이션을 실행할 수 있게 됐다"며 "신뢰할 수 있는 데이터 기반으로 신뢰할 수 있는 AI 애플리케이션을 구축해 고객을 위한 혁신을 지원할 것"이라고 밝혔다.
관련기사
엔비디아 카리 브리스키 AI 소프트웨어, 모델 및 서비스 부문 부사장은 "기업들은 비즈니스 성과 창출을 위해 생성형 AI를 기존 데이터 인프라와 원활히 통합해야 한다"며 "엔비디아 NIM을 클라우데라 AI 인퍼런스 플랫폼에 통합해 개발자들이 신뢰할 수 있는 생성형 AI 애플리케이션을 쉽게 만들 수 있도록 지원하고, 자립형 AI 데이터 플라이휠을 육성할 수 있도록 지원하고 있다”고 말했다.
최승철 클라우데라코리아 지사장은 "국내 기업들 사이에서 AI 도입 가속화에 대한 관심이 높아지고 있다"며 "기업이 온프레미스, 클라우드 등 환경에 구애받지 않고 AI 애플리케이션을 운영하면서 보안과 규제 준수까지 충족할 수 있도록 지원할 것"이라고 밝혔다.
