스노우플레이크, 개발자 플랫폼 대거 업데이트

엔터프라이즈급 파이프라인·모델·AI 기반 앱 구축까지 엔드투엔드 지원

[샌프란시스코(미국)=김우용 기자] 스노우플레이크는 4일(현지시간) 미국 샌프란시스코에서 개최한 ‘스노우플레이크서밋 2024’ 둘째날 행사에서 데이터를 활용한 엔터프라이즈급 파이프라인, 모델, 애플리케이션 등의 엔드투엔드 개발을 가속하는 새로운 기능을 대거 발표했다.

새로운 개발자 도구와 네이티브 통합으로 고객 편의성과 개발 속도를 높이고, AI 데이터 클라우드에서 효율적인 제품 개발을 지원할 전망이다.

애플리케이션 프로토타입에서 배포까지 걸리는 기간을 단축하기 위해 노력하는 가운데, 스노우플레이크는 개발자가 높은 성능의 데이터 제품을 생산할 수 있는 플랫폼으로 자리 잡고 있다.

스노우플레이크 노트북

개발자는 스노우플레이크의 '동적 테이블(Dynamic Tables)'과 '스노우파이프 스트리밍'을 함께 사용해 낮은 레이턴시 기반의 데이터 파이프라인을 활성화하고 AI 및 머신러닝 모델을 생성할 수 있다. 현재 2천900여 고객사가 평균 20만개 이상의 동적 테이블을 실행해 운영 데이터 파이프라인을 구축, 관리하고 있다. 올해 행사에서 스노우플레이크는 동적 테이블을 정식 출시(GA)한다고 발표했다.

스노우플레이크는 개발자가 AI 데이터 클라우드 환경에서 보유하고 있는 데이터로 AI 개발 시간을 줄일 수 있는 다양한 방법을 제공한다. 그 중 하나로 데이터 엔지니어링 전과정의 작업을 할 수 있는 ‘스노우플레이크 노트북’을 새롭게 공개했다.

스노우플레이크 노트북(퍼블릭 프리뷰)은 스노우파크 ML, 스트림릿, 스노우플레이크 코텍스 AI 등 모든 스노우플레이크 플랫폼과 네이티브 통합됐으며, 단일 개발 인터페이스 제공으로 파이썬, SQL, 마크다운 개발이 간편해진다. 개발자는 스노우플레이크 노트북으로 ML 파이프라인을 실험 및 반복 적용하고, AI 기반 편집 기능을 활용해 데이터 엔지니어링 워크플로우를 단순화하는 등 생산성과 협업 개발에서 효율을 높일 수 있다.

스노우파크 판다스 API(퍼블릭 프리뷰)도 추가됐다. 파이썬 개발자가 선호하는 판다스 구문을 사용해 보다 수준 높은 AI와 파이프라인 개발을 지원하고 스노우플레이크의 성능과 확장성 및 실행을 위한 거버넌스를 활용할 수 있도록 한다.

스노우플레이크는 데브옵스에 데이터 중심적인 접근으로 단일 플랫폼 내에서 개발·운영·데이터 관리를 원활하게 통합하고 개발 과정을 간소화한다. 스노우플레이크는 복잡한 워크플로우를 한 줄씩 스크립팅하는 것 대신, 코드형 인프라스트럭처 규칙으로 데이터 파이프라인의 원하는 상태를 정의함으로써 새로운 데이터베이스 변경 관리(퍼블릭 프리뷰) 기능에서 선언적(declarative) 개발 방식을 우선으로 채택한다.

데이터 엔지니어와 개발자는 스노우플레이크의 새로운 깃통합(퍼블릭 프리뷰)으로 팀 간 협업을 강화하고 다양한 환경에 배포하는 시간을 단축할 수 있다. 곧 정식 출시될 스노우플레이크의 파이썬 API는 리소스를 효율적으로 관리하고, 오픈소스 스노우플레이크 CLI는 단일 인터페이스로 사용해 CI/CD 파이프라인을 관리할 수 있다.

스노우플레이크 트레일도 공개됐다. 통합적인 가시성을 제공해 개발자가 워크플로우를 쉽게 모니터링하고 문제 해결 및 최적화할 수 있도록 한다. 데이터 품질, 파이프라인 및 애플리케이션에 대한 가시성도 향상된다. 스노우플레이크는 스노우파크 및 스노우파크 컨테이너 서비스를 위해 내장된 텔레메트리 신호를 제공한다.

사용자는 에이전트를 수동으로 설정하거나 데이터를 전송할 필요 없이 매트릭스, 로그, 분산 추적을 활용해 오류를 쉽게 진단하고 디버깅할 수 있다. 오픈 텔레메트리 표준으로 구축되어 개발자는 스노우사이트에서 자체적으로 작업하는 것은 물론 그라파나, 메타플레인, 페이저듀티, 슬랙 등의 플랫폼과 통합할 수 있다. 몬테카를로나 옵저브 같은 관측 기능 플랫폼과도 협력해 고객에게 엔드 투 엔드 통합 관측 기능을 제공한다.

스노우플레이크는 기업들이 정교한 애플리케이션을 더욱 원활하게 구축 및 출시할 수 있도록 스노우파크 컨테이너 서비스(AWS 기반, 퍼블릭 프리뷰)와 스노우플레이크 네이티브 앱 프레임워크의 통합을 발표했다.

이번 통합으로 기업은 다양한 분야에 맞춰 구성 가능한 GPU 및 CPU 인스턴스로 컴퓨터 비전 자동화, 지리 공간 데이터 분석, 기업용 ML 애플리케이션 등 AI 데이터 클라우드에 구축할 수 있는 애플리케이션의 범위와 종류를 확장할 수 있다.

애플리케이션 개발자는 AI 기반 스노우플레이크 네이티브 앱을 구축하고, 스노우플레이크 마켓플레이스를 통해 다양한 클라우드 환경과 전 세계 수천 명의 스노우플레이크 고객에게 앱을 배포할 수 있다. 현재 스노우플레이크 마켓플레이스에서 지난 4월 30일 기준 총 160개 이상의 스노우플레이크 네이티브 앱을 확인할 수 있다.

기업들은 새로운 수익원인 스노우플레이크 네이티브 앱을 배포하며, 앱의 수익화와 조달을 가속하기 위해 스노우플레이크 마켓플레이스를 유통 플랫폼으로 활용하고 있다. 수백 개의 스타트업이 스노우플레이크를 기반으로 전체 비즈니스를 구축하고 있으며, 막사(Maxa), 마이 데이터 아울렛(My Data Outlet), 릴레이셔널AI(RelationalAI) 등의 제공 업체는 스노우플레이크 마켓플레이스에서 수백만 달러의 수익을 창출하고 있다.

스노우플레이크 제프 홀란 애플리케이션 및 개발자 플랫폼 부문장은 "새롭게 선보인 기능은 개발자가 기존의 엔터프라이즈 데이터로 익숙하면서도 더 많은 경험을 하도록 지원하며 AI 데이터 클라우드에서 개발자의 한계를 계속해서 넘어서고 있다”며 “개발자는 스노우플레이크의 뛰어난 확장성과 성능, 거버넌스를 바탕으로 유용한 LLM 기반 애플리케이션을 손쉽게 개발하고 궁극적으로 더 많은 사용자들이 AI를 사용할 수 있게 된다”고 말했다.