스노우플레이크, 문서 내 통찰력 도출하는 LLM 공개

스노우플레이크는 26일부터 29일까지 미국 라스베이거스에서 열리는 연례 사용자 컨퍼런스 ‘스노우플레이크 서밋 2023’에서 고객 스스로 누적 데이터에서 쉽고 빠르게 비즈니스 가치를 창출하고 워크로드에 향상된 성능을 활용할 수 있도록 하는 단일 통합 플랫폼의 새로운 기능을 발표했다.

스노우플레이크는 지난해 9월 인수한 애플리카의 생성형 AI 기술로 구축한 대규모 언어 모델(LLM) ‘도큐먼트 AI’를 공개했다. 이를 통해 고객이 문서를 이해하고 비정형 데이터를 쉽고 빠르게 활용할 수 있도록 했다.

IDC에 따르면 향후 5년 간 전 세계 데이터의 90% 이상이 문서, 이미지, 비디오, 오디오 등의 형태를 지닌 비정형 데이터다. 과거에는 방대한 양의 비정형 데이터에서 의미 있는 인사이트를 얻으려면 오류가 발생하기 쉬운 수동 프로세스를 이용했지만, 비정형 데이터를 지원하는 스노우플레이크의 빌트인 LLM인 ‘도큐먼트 AI’를 이용하면 자연어 처리를 통해 오류없이 문서에서 쉽게 인사이트를 추출할 수 있다.

‘도큐먼트 AI’는 애플리카 기반의 멀티모달 LLM을 활용했다. 조직은 스노우플레이크 플랫폼 내에서 멀티모달 LLM을 통합해 문서에서 필요로 하는 콘텐츠를 쉽게 추출하고 비주얼 인터페이스 및 자연어를 사용해 결과를 정교하게 조정할 수 있다. 고객들은 조직이 비즈니스를 더 스마트하게 운영하고 확장 가능한 방식으로 생산성을 높이기 위해 ‘도큐먼트 AI’를 사용하고 있다. ‘도큐먼트 AI’를 시작으로 스노우플레이크는 더 많은 유형의 비정형 데이터를 지원할 예정이다.

아파치 아이스버그는 오픈 테이블 포맷의 산업 표준으로 계속해서 인기를 얻고 있다. 스노우플레이크는 조직이 아이스버그 데이터로 더 쉽게 데이터 클라우드의 가치를 확장하도록 돕는다. 조직은 해당 데이터의 저장 위치에 관계없이, ‘아이스버그 테이블’을 통해 아파치 아이스버그 형식의 자체 스토리지에 있는 데이터를 사용할 수 있다. 동시에 스노우플레이크의 성능 및 통합 거버넌스의 혜택을 누릴 수 있다.

이로 인해 조직은 여러 시스템 사이에서 데이터를 이동하거나 복사하지 않아도 돼 데이터 관리를 단순하게 하며, 유연성이 개선되고 비용을 줄일 수 있다. 더불어 여러 사용자와 다양한 제품으로 구성된 아파치 아이스버그 생태계는 잦은 마이그레이션과 스토리지 공급 업체에 종속되는 것을 방지해 미래 비즈니스 모델에 맞춘 스토리지로 사용할 수 있다. 대표적인 고객사 부킹닷컴은 아이스버그 테이블을 활용해 모든 자체 데이터에 데이터 클라우드를 도입하고 있다.

스노우플레이크의 최우선 가치는 ‘고객 우선’으로, 정기적으로 기능과 효율성을 개선하며 혁신을 지원하고 있다. 같은 맥락에서 실제 고객 워크로드를 분석해 효율성을 측정하는 새로운 SPI를 도입했다. 실제로 지난 8개월 동안 스노우플레이크에서 해당 메트릭을 통해 안정적으로 운영하는 고객 워크로드를 추적했을 때 쿼리 시간이 15% 단축된 것을 확인했다. SPI는 플랫폼의 양적 성능과 워크로드에 대한 하드웨어 개선 사항을 수치화해 보여줌으로 고객의 비용과 성능을 최적화하고 있다.

스노우플레이크는 SQL 사용자를 위해 사전 구축된 머신 러닝 함수를 포함한 더 다양한 고급 분석 기능 세트가 지원되도록 단일 플랫폼의 기능을 강화하고, 새로운 데이터 품질 메트릭 및 분류 기능으로 통합 거버넌스 및 개인 정보 보호를 확장하고 있다.