미국서 열풍인 스노우플레이크, 한국서 1년은

스노우플레이크가 한국시장 진출 1년을 맞아 시장 성과와 새로운 기술 업데이트를 발표했다.

스노우플레이크코리아는 18일 개최한 연례 컨퍼런스 ‘스노우데이’에서 개발자, 데이터 엔지니어, 데이터 사이언티스트가 데이터 클라우드에서 직접 애플리케이션을 구축할 수 있도록 지원하는 기술과 데이터 플랫폼 업데이트를 발표했다.

강형준 스노우플레이크코리아 지사장은 이날 개최된 기자간담회에서 "한국지사 출범 후 14개월째를 맞은 현재 전세계적인 성장세와 마찬가지로 한국 시장서도 빠르게 성장하고 있다"며 "분기마다 두자릿수로 고객사가 증가하고 있으며, 고객 서비스를 강화하기 위해 많은 전문 인력을 보강하고 있다"고 밝혔다.

이날 공개된 새로운 기술은 더 많은 사용자의 데이터 활용을 유도하고, 스노우플레이크의 단일 플랫폼에서 생산성을 높여 애플리케이션, 파이프라인, 머신러닝(ML) 모델을 개발할 수 있도록 한다.

지난해 3월 스노우플레이크는 데이터 앱 개발 플랫폼 스트림릿을 인수해 수많은 데이터 사이언티스트와 개발자가 오픈소스 프레임워크로 파이썬 앱을 쉽게 구축할 수 있게 했다. 이로써 스노우플레이크는 개발자가 스노우플레이크 데이터 클라우드에서 데이터 및 ML 모델을 안전한 대화형 애플리케이션으로 구축할 수 있도록 스트림릿을 결합할 계획이다.

이를 통해 스트림릿의 편의성, 유연성과 스노우플레이크의 통제 데이터 접근, 확장성, 보안성을 모두 제공해 개발자들은 간편하게 웹앱을 구축 및 배포할 수 있게 됐다. 개발자는 안전한 스노우플레이크 플랫폼에서 자사 데이터를 사용해 파이썬 앱을 구축하고, 배포, 운영할 수 있게 된다. 이를 바탕으로 현업팀과 데이터를 원활하게 공유하며 ML 활용도를 높이게 된다.

스트림릿을 적용한 제트블루 항공 사이 라부루 데이터 사이언스 및 애널리틱스 부문 총괄은 “스트림릿은 제트블루 항공의 데이터 사이언스 및 ML에 양방향 엔진 역할을 수행하며 사업 영역별 담당자와 함께 앱을 구축해 효율적으로 협업할 수 있게 됐다”며 “스노우플레이크의 스트림릿 인수로 제트블루는 스노우플레이크 플랫폼에서 데이터와 ML으로부터 얻은 인사이트까지 모두 활용할 수 있게 된다”고 밝혔다.

그는 “이를 바탕으로 항공 결항 등 예기치 못한 상황에 피해를 줄일 수 있도록 강력한 앱을 통해 운항계획팀의 예측 가능성을 높이고, 더욱 안전하고 편리한 맞춤형 고객 서비스로 최상의 고객 경험을 제공할 것”이라고 강조했다.

스노우플레이크는 작년말 새로운 개발자 프레임워크로 ‘파이썬용 스노우파크’를 공개했다. 파이썬은 데이터 과학자에게 가장 인기 있는 언어다. 스노우파크를 통해 개발자는 자바, 스칼라, SQL, 파이썬 중 선호하는 프로그래밍 언어를 기본으로 지원하는 유연한 아키텍처를 제공받게 됐다. ‘파이썬용 스노우파크’는 광범위한 스노우파크 생태계에 포함되며, 여러 팀이 단일 플랫폼 상에서 뛰어난 보안성의 파이썬 샌드박스로 협업 및 앱 구축을 할 수 있도록 하고, 앱 구축 시 높은 확장성, 유연성, 보안 및 일관된 거버넌스를 제공한다.

개발자는 과거 프로젝트의 제품화의 걸림돌이던 데이터 보안 및 컴플라이언스 이슈를 해결한다. 뿐만 아니라, 스노우플레이크는 아마존웹서비스(AWS)를 통해 퍼블릭 프리뷰로 제공할 ‘스노우파크 전용 웨어하우스’를 통해 파이썬 개발자가 스노우플레이크 플랫폼에서 대규모 ML 트레이닝 및 메모리 집약적 운영을 직접 구동하도록 할 계획이다. 또한 ‘파이썬 워크시트’를 통해 애플리케이션, 데이터 파이프라인, ML 모델을 스노우플레이크 내에서 개발할 수 있도록 비공개 프리뷰를 출시할 계획이다.

아나콘다, dbt랩스 등 몇몇 파트너는 ‘파이썬용 스노우파크’ 도입을 가속화하고 개발자가 앱을 쉽게 구축할 수 있도록 하는 데 결정적인 역할을 해왔다. 아나콘다의 ‘파이썬용 스노우파크’는 수작업 처리 및 패키지 의존성 관리의 필요성을 없애 스노우플레이크 사용자가 아나콘다의 오픈소스 파이썬 라이브러리를 원활하게 접근할 수 있도록 한다. 또한 dbt 랩스의 ‘파이썬용 스노우파크’는 현대적인 분석을 위한 SQL과 파이썬의 기능을 결합해 고객이 데이터 분석가와 데이터 사이언티스트 간의 간극을 좁힐 수 있도록 지원한다.

스노우플레이크는 데이터 파이프라인을 구축하는 방식을 새롭게 해 단일 플랫폼에서 스트리밍 데이터를 기반으로 하는 작업을 수월하게 하고 사일로를 제거한다. 이를 위해 스노우플레이크는 핵심 소프트웨어 개발 원리를 활용하면서 복잡성을 제거하는데 필수 역량을 갖추고 있다. 사용자들은 비공개 프리뷰를 통해 제공되는 스키마 추론을 통해 데이터를 더 빠르게 작동시켜 생산성을 높이고, 모든 사용자에게 제공되는 서버리스 작업을 통해 파이프라인을 수월하게 실행할 수 있게 됐다. 이와 함께 개발자의 데이터 클라우드 상 앱 구축 역량을 강화하기 위해 개선된 툴을 공개한다.

비공개 프리뷰로 공개된 ‘동적 테이블’은 과거 머티리얼라이즈드 테이블로 소개된 기능이다. 스노우플레이크는 코딩 효율 및 편의성을 위한 선언적 데이터 파이프라인 구축을 통해 점진적 프로세싱을 자동화함으로써 스트리밍 및 배치를 원활하게 한다. 이는 데이터 캡처 및 스냅샷 격리 등의 사용 사례를 간소화하며, 스노우플레이크에 기본 탑재되어 있어 모든 스노우플레이크 계정에 완벽한 보안과 통제 아래 공유될 수 있다.

개발자 요구에 대한 충족 수준을 높이기 위해 스노우플레이크는 가시성 및 개발자 경험 요소에 투자하여 개발자는 알림(비공개 프리뷰), 로깅(비공개 프리뷰), 이벤트 추적(비공개 프리뷰), 작업 그래프 및 이력(퍼블릭 프리뷰) 등을 통해 향상된 생산성으로 데이터 파이프라인을 구축하고 테스트, 디버깅, 배포 및 모니터링할 수 있게 됐다.

조성현 스노우플레이크코리아 시스템엔지니어링팀 총괄 상무는 “스노우플레이크는 계속 앱을 개발하면서 개발자가 혁신을 가속화하는데 필요한 데이터 접근 및 툴을 안전한 단일 플랫폼에서 제공하고 있다”며 “스노우플레이크의 개선된 서비스는 개발자들이 확신을 가지고 강력한 애플리케이션과 파이프라인, 모델을 구축할 수 있는 역량을 지원하고, 복잡성을 없앤 만큼 데이터 클라우드를 기업 전반에 활용, 비즈니스 가치를 높이도록 한다”고 설명했다.

스노우플레이크는 이와 함게 데이터 플랫폼 기능 강화도 발표했다.

스노우플레이크는 자사의 단일 엔진 성능을 높이고 빠른 속도를 지원해 기업들이 데이터를 활용한 주요 워크로드를 더욱 효율적으로 구동할 수 있도록 했다. 또한 크로스 클라우드를 지원하는 ‘스노우그리드’ 기능을 강화했다. 스노우그리드는 클라우드와 리전을 상호 연결하고, 협업과 데이터 거버넌스, 비즈니스 연속성을 강화하는 기술로, 사용자 경험을 높이면서 개인정보 보안 컨트롤을 필요로 하는 협업과정을 효율적으로 운영할 수 있게 한다. 또, 데이터 보호 자동화 및 끊김 없는 페일오버를 위한 데이터 복제 범위도 확대된다.

스노우플레이크는 고객 우선을 최우선 과제로 두고, 지속적으로 성능을 개선하고, 속도 지연을 낮추며 고객 경쟁력을 높일 수 있는 혁신을 위해 노력하고 있다. 그 일환으로 단일 엘라스틱 엔진을 정기적으로 업데이트하고 있다. 이를 통해 일반 쿼리, 복제 속도, 새로운 도입 사례를 늘리고 고객들이 별도로 조치를 하지 않아도 더 높은 가치를 창출할 수 있도록 돕는다.

이번에 개선된 엘라스틱 엔진은 쿼리 가속화 서비스로 강력한 추가 리소스를 제공해 전체 컴퓨팅 성능을 증대할 필요 없이 과부화 용량의 쿼리 속도를 향상한다. 또한, 기업들은 향상된 ‘불필요한 조인’ 삭제 기능으로 쿼리 효율을 높이고 검색 최적화 서비스 개선으로 빠른 검색과 포인트 룩업을 가능하게 했다.

새로운 계정 이용 내역을 통해 기업들은 오토 클러스터링 및 검색 최적화 서비스에 대한 비용 대 편익 분석을 쉽게 실행할 수 있게 했다 새로운 이력 조회 화면(비공개 프리뷰)을 통해 데이터 부하의 크기와 영향 또는 테이블에 대한 수정을 판단할 수 있으며 검색에 최적화된 데이터를 위한 컬럼 선택(퍼블릭 프리뷰)을 지원하는 검색 최적화 서비스로 비용을 절감할 수 있게 됐다.

쿼리 지표(비공개 프리뷰)에 대한 프로그램적 액세스를 통해 기업들은 장시간 구동이 필요해 시간 소모적인 쿼리를 더욱 용이하게 분석하고, 성능 문제가 최종 사용자에게 영향을 주기 전에 미리 식별해 해결할 수 있다.

스노우플레이크는 기업들이 데이터 리스팅 공유를 유연하게 하기 위해 크로스 클라우드 협업 기능을 강화하고 있다. 데이터 제공업체는 글로벌 비즈니스 생태계를 통해 자사 데이터 리스팅을 공개 또는 프라이빗으로 설정해 공유할 수 있다. 리전 및 클라우드에 자사 데이터를 고객이 자동으로 이용, 실행 가능하도록 선택할 수도 있다.

새로 업데이트된 기능으로 먼저 새로운 리스팅 디스커버리 컨트롤(퍼블릭 프리뷰)이 있다. 이는 제공업체들이 데이터를 프라이빗하게 리스팅할 수 있도록 세부 조정이 가능한 컨트롤을 제공해 개인정보를 보호하고 대내외적 공유 및 협업을 쉽게 실행할 수 있도록 한다. 데이터 제공업체는 리스팅을 맞춤 설정하고 사용량 기반 과금을 제공할 수 있는 한편, 기업들은 사용 및 쿼리 예시는 물론, 분류를 통해 가시성을 높인다.

크로스 클라우드 자동 풀필먼트(퍼블릭 프리뷰)를 사용하면 수작업 없이도 데이터 제공업체는 소비자를 위해 데이터를 즉시 액세스하고 최신 상태로 유지할 수 있다. 더욱 풍부해진 애널리틱스로, 데이터 제공업체들은 강력한 프로그래매틱 및 시각화된 통찰(퍼블릭 프리뷰)에 대한 액세스 권한을 갖게 되어 리스팅에 대한 액세스 및 사용 방식을 보다 잘 파악하고 이를 통해 향상된 제품 및 고객 경험을 제공할 수 있게 된다.