[인터뷰] 엔비디아 손잡은 클라우데라…제품 관리 부사장 "기업용 AI 분야 리더십 굳건"

지난 2008년. 구글, 페이스북, 오라클 출신 엔지니어 3명은 미국서 클라우데라를 세워 빅데이터 핵심 기술인 '하둡' 소프트웨어(SW) 시장을 공략했다. 하둡은 오픈소스 기반의 대규모 분산 데이터 처리 SW로, 클라우데라가 개척한 하둡의 등장에 따라 데이터를 저장·처리·분석하는 방식이 완전히 바뀌며 시장은 급변기를 맞았다.

24일 업계에 따르면 호튼웍스, 맵알과 함께 글로벌 3대 하둡 전문업체로 급성장하던 클라우데라는 지난 2018년 호튼웍스와 합치게 되며 명실상부한 시장 내 강자로 우뚝 올라섰다. 합병 당시 클라우데라의 주식 가치는 52억 달러로 평가됐다. 2021년에 사모펀드로 주인이 변경된 후 대형 퍼블릭 클라우드 서비스 업체들과 경쟁을 벌이며 한 때 위기를 맞는 듯 했으나, 독보적인 기술력을 앞세워 시장을 점점 잠식해갔다.

결국 클라우데라는 현재 전 세계 유일한 하이브리드 데이터 플랫폼 제공 기업으로 성장했다. 최근에는 생성형 인공지능(AI)이 주목 받기 시작하자 새로운 변화를 시도했는데, 올해 6월 AI 운영 플랫폼 회사 '베르타'를 인수한 것이 대표적이다.

프리얀크 파텔 클라우데라 제품 관리 부문 부사장은 최근 기자와 만나 "이번 인수로 베르타가 운영하던 AI 플랫폼을 자사에 통합시켰다"며 "모델 운영 및 모니터링 분야에서 베르타가 축적한 전문 지식을 자사 제품에 더해 많은 고객들에게 좀 더 발전된 모습을 보일 수 있다는 점이 고무적"이라고 밝혔다.

그러면서 "자사 머신러닝 팀에 합류한 베르타는 앞으로 AI 로드맵을 추진하며 고객 요구사항을 효과적으로 지원하게 될 것"이라며 "이를 통해 AI와 머신러닝 분야에서 세계적으로 신뢰할 수 있는 데이터, 기업용 AI 분야 리더십을 곤고히 할 수 있게 됐다"고 강조했다.

클라우데라는 베르타와의 통합 후 첫 결과물로 지난 19일 AI 도입 시간을 단축하기 위해 설계된 6개의 신규 머신러닝 프로젝트 가속기(AMP)를 새롭게 선보였다. AMP는 이미 구축된 솔루션과 실제 작동하는 예제를 통해 AI 프로젝트를 개념 단계에서 적용 단계로 빠르게 전환할 수 있는 촉매제 역할을 한다.

새로운 AMP는 클라우데라 플랫폼에서 단 한 번의 클릭으로 직접 배포할 수 있는 엔드투엔드 머신러닝 기반 프로토타입이다. ▲대형언어모델(LLM)을 관리, 미세조정할 수 있는 스튜디오 ▲지식그래프 생성 검색증강기술(RAG) ▲프롬프트 생성 ▲기업내부 데이터를 활용한 LLM응답 품질 향상 등의 기능을 업데이트했다.

김호중 클라우데라 코리아 전무는 "AMP는 완전히 엔드투엔드 솔루션을 제공해 모호성을 제거한다"며 "데이터 과학자에게 다양한 AI 사용 사례에 대해 효과적이고 신속하게 가치를 창출할 수 있는 기능도 제공한다"고 말했다.

파텔 부사장은 "이번에 선보인 것 중 프롬프트를 생성하는 '프롬프트 브루 AMP'가 베르타와의 통합 로드맵의 첫 번째 단계"라며 "아직 가야할 길이 많이 남았지만 베르타의 합류로 AI와 통합된 더 다양한 제품을 제공할 수 있을 것으로 보인다"고 기대했다.

이어 "AI와 관련해 과거 어느 때보다 더 많은 투자를 진행하고 있다"며 "머신 러닝, 데이터 엔지니어링 등 기존 제품을 통해 AI 시장에서의 성공을 위한 토대를 탄탄하게 쌓은 만큼 머지 않아 시장에서 주도권을 잡을 수 있을 것으로 본다"고 덧붙였다.

찰스 샌즈버리 클라우데라 최고경영자(CEO)가 지난달 7일 오전 9시(현지시간) 싱가포르 마리나 베이 샌즈에서 열린 '이볼브24 에이팩(Evolve24 APAC)' 행사에 참석해 인사말을 하고 있다. (사진=클라우데라)

클라우데라는 베르타 인수 외에도 최근 기업용 AI 시장을 공략하기 위해 다양한 노력을 펼치고 있다. AI 리서치 회사인 패스트 포워드 랩스와 가짱(Gazzang)을 인수해 빅데이터 보안을 강화시켰고, 자동조종 소프트웨어 솔루션을 개발하고 제공하는 하이퍼파일럿 등 여러 업체들을 사들였다.

클라우데라가 AI칩 강자인 엔비디아와 협력하는 것도 이의 일환이다. 클라우데라는 현재 엔비디아 기업용 AI SW 플랫폼 중 'NIM 마이크로서비스'를 자사 머신 러닝에 통합해 빠르고 안전한 생성형 AI 워크플로우를 제공 중이다.

파텔 부사장은 "엔비디아는 오랜 파트너로, 엔비디아 서버와 하드웨어를 바탕으로 자사 서비스가 운영되고 있다"며 "'엔비디아 니모(NeMo) 추론 마이크로 서비스'를 (자사 서비스와) 통합해 고객들이 AI 추론 및 모델 서빙에서 더 높은 처리량과 성능을 경험할 수 있도록 하고 있다"고 말했다.

이어 "엔비디아와의 파트너십은 계속될 것"이라며 "적절한 시기에 추가 (협업) 발표도 있을 것"이라고 덧붙였다.

이 같은 노력의 결과로 클라우데라는 전 세계에서 유일하게 데이터 라이프사이클을 지원하는 하이브리드 데이터 클라우드 플랫폼인 'CDP(Cloudera Data Platform)'을 앞세워 시장을 선도하고 있다. 이 플랫폼은 강력한 보안과 거버넌스, 배치와 실시간 분석을 지원함으로써 전 세계 85개 이상의 시장에서 데이터 기반 혁신을 추구하는 고객을 확보하게 됐다.

지난달 7일 싱가포르에서 열린 '이볼브24 에이팩(Evolve24 APAC)' 행사에선 두 가지 주요 업데이트를 공개하며 강력한 메타데이터 관리 능력도 과시했다. 이는 아이스버그 '레스트(REST) 카탈로그 통합'과 'SDX(Shared Data Experience)'로, 클라우데라가 개방형 데이터 레이크하우스 내에서 개방형 상호운용성을 강화할 수 있도록 돕는 역할을 하고 있다.

파텔 부사장은 "자사 플랫폼은 기업들이 AI를 구축하고 배포하는 방식에 대해 완벽한 통제권을 제공한다"며 "어떤 산업군과 관계없이 모든 기업이 자사 AI를 원하는 곳에 적용할 수 있도록 이끌어 줄 뿐 아니라 데이터를 유연하게 활용할 수 있도록 돕고 있다"고 설명했다.

이어 "AI는 기업의 생산성, 효율성을 크게 향상시킬 수 있는 잠재력을 가지고 있다"며 "특히 반복적인 작업을 자동화하고 데이터 분석을 통해 더 나은 의사 결정을 지원함으로써 기업의 운영을 크게 개선할 수 있다"고 덧붙였다.

하지만 파텔 부사장은 AI를 도입하는 데 있어 보안 문제가 기업들의 가장 고민거리가 될 것이라고 봤다. 데이터 유출과 같은 보안 문제가 발생하면 기업의 신뢰도와 경제적 손실로 이어질 수 있어서다.

이에 클라우데라는 클라우드 네이티브의 컨테이너 기반 'SDX'를 대안으로 꺼내 들었다. SDX는 더욱 향상된 탄력성, 확장성, 성능으로 종단 통합 데이터 보안, 거버넌스, 메타데이터 관리를 제공한다. 또 여러 도구에서 셀프 서비스 데이터 접근을 제공하고 보안 기능을 통합해 침해 위험을 최소화하며 클라우드 및 온프레미스 데이터 전반에 걸친 단일 통합 모니터링 관리를 지원한다.

또 클라우데라는 최신 업데이트를 통해 데이터 라이프사이클 동안 보안과 계보를 통해 데이터를 보호할 뿐만 아니라 메타데이터 관리를 최적화해 총소유비용(TCO)을 절감하면서 성능, 확장성, 복원력을 향상시킬 수 있도록 지원하고 있다. 이번 확장으로 복사본을 만들지 않고도 메타데이터를 공유할 수 있어 공급업체에 종속되지 않고 타사 도구로도 혁신을 이룰 수 있다.

더불어 최근에는 기업들의 데이터 보안을 강화하는 동시에 비용을 절감하고 효율적인 워크로드 관리를 돕기 위한 새로운 솔루션 '프라이빗 링크 네트워크'도 출시했다. '프라이빗 링크 네트워크'는 금융, 헬스케어, 제약 등 보안이 민감한 분야에서 공용 인터넷을 통하지 않고 데이터를 안전하게 관리할 수 있는 솔루션이다.

이번 솔루션은 클라우데라의 컨트롤 플레인과 연결된 모든 고객 워크로드에 대한 보안 통신을 지원한다. 이를 통해 여러 클라우드 환경에서 일관된 보안 정책을 유지가 가능해졌다.