스노우플레이크 "방대한 기업 데이터, 단일 API로 관리 간소화"

"생성형 인공지능(AI) 시대 최대 과제는 기업 데이터 관리입니다. 단일 API로 데이터 환경을 간소화해야 합니다. 효율적인 데이터 관리로 쉬운 AI 애플리케이션 개발 환경을 고객에 제공할 수 있습니다. 또 고객에게 생성형 AI 서비스를 잘 지원하려면 높은 신뢰성·가성비도 필수입니다."

최기영 스노우플레이크 코리아 지사장은 10일 미디어 간담회를 통해 생성형 AI 시대 데이터 관리 방식과 AI 애플리케이션 개발 필수 요소를 이같이 밝혔다.

스노우플레이크는 10년 동안 글로벌 시장에 데이터 레이크하우스와 데이터 메시 등 다양한 데이터 아키텍처 솔루션을 지원해 왔다.

한국에는 3년 전 진출했다. 현재 전 세계적으로 50억 건 넘는 데이터를 매일 처리하고 있다. 고객은 약 10만 명이다.

"AI로 복잡한 데이터 관리…단일 API로 간소화"

최기영 지사장은 생성형 AI 산업 활성화로 기업 데이터가 방대해졌다고 주장했다.

그동안 기업이 데이터 레이크 하우스와 데이터 메시, 웨어하우스 등으로 데이터 간소화에 노력했지만 복잡성이 오히려 늘었다고 지적했다. 이 과정에서 기업이 여러 엔진을 활용하면서 데이터 사일로가 다시 발생했다는 이유에서다.

이에 스노우플레이크는 방대한 데이터 관리를 간소화하기 위해 단일 API 방식을 채택했다. 이는 데이터 관리를 간소화할 뿐 아니라 여러 엔진을 하나로 합쳐줄 수 있는 방식으로 평가받고 있다.

현재 스노우플레이크 기업 고객은 단일 API로 정형 데이터와 비정형 데이터, 외부 데이터 등 다양한 소스를 하나의 통합된 인터페이스로 연결해 데이터를 간소화하고 통합적으로 활용하고 있다. 사용자는 복잡한 데이터 위치나 처리 방식을 고려하지 않아도 단일 API 호출로 데이터를 쿼리·분석할 수 있다.

예를 들어 PDF 계약서에서 결제 조건을 추출하거나 SQL 데이터베이스(DB)에서 배송 시간을 조회하는 작업을 동일한 API 호출로 한 번에 할 수 있다.

최 지사장은 "사용자는 단일 API를 통해 적합한 엔진을 자동으로 라우팅할 수 있다"며 "정형 데이터와 비정형 데이터를 유기적으로 연결할 수 있다"고 설명했다. 이어 "사용자는 별도 설정 없이 필요한 데이터를 간편하게 얻을 수 있다"며 "단일 API는 데이터 소스 간 경계를 허물고, 복잡한 데이터 추출·변환·적재(ETL) 작업을 줄여 효율성을 높인다"고 강조했다.

"생성형 AI 환각현상 최소화·가성비 최대화 핵심"

스노우플레이크는 향후 AI 애플리케이션이 기업 시장에서 주요 킬러 앱으로 자리 잡을 것으로 내다봤다. 이를 실현하기 위한 필수 요소로 답변 신뢰성과 가성비를 꼽았다.

이날 스노우플레이크 코리아 이수현 테크에반젤리스트는 스노우플레이크의 검색증강생성(RAG) 주요 특징을 설명했다.

스노우플레이크는 현재 20개 넘는 매트릭스를 활용해 AI 모델 성능을 다각적으로 측정할 수 있는 방법을 도입했다. 측정 기준은 정확성과 연관성, 문맥 적합성이다.

우선 AI 모델이 내놓은 답변이 사용자 질문과 얼마나 밀접히 관련됐는지 평가한다. 이후 AI가 검색한 데이터와 제공한 응답 간 연관성을 검증한다. 마지막으로 답변이 질문 문맥과 얼마나 잘 맞는지 확인한다. 이를 자체적으로 수치화해 일정 점수가 넘어야 사용자에게 답변을 제공하는 식이다.

이 에반젤리스트는 AI 모델 성능이 임계값보다 낮을 경우 이를 자동으로 감지하고 사용자에게 알림을 제공한다고 설명했다. 과정도 간단하다. 우선 사용자는 모델 성능의 최소 허용 수준을 설정한다. 이후 시간이 지나면서 솔루션이 자체적으로 훈련 데이터와 현재 데이터 간 불일치를 탐지해 실시간으로 성능 저하를 식별한다. 이때 답변 정확도에 문제가 생기면 사용자는 기존 모델을 수정하거나 새 데이터로 모델을 재학습시키면 된다.

이 에반젤리스트는 "엔터프라이즈의 AI 핵심은 옵저버빌리티"라며 "AI 모델이 비즈니스 목표를 효과적으로 지원하고 기업에게 데이터 중심 의사 결정 기회를 줄 수 있을 것"이라고 밝혔다.

스노우플레이크는 데이터보안 강화를 위한 전략도 소개했다. 최근 잇따라 발생하는 데이터 거버넌스 이슈와 보안 문제를 해결하기 위한 목표다.

이 에반젤리스트는 "최근 기업들은 데이터를 AI 모델로 보내는 방식을 채택하기 일쑤"라며 "데이터를 외부 AI로 전송할 경우 보안 위험과 관리 어려움이 발생할 수 있다"고 지적했다. 이어 "AI 모델을 데이터 플랫폼으로 직접 가져와 데이터 내에서 관리하는 방식이 더 안전하다"며 "이를 통해 데이터 거버넌스와 보안에 생기는 이슈를 최소화할 수 있다"고 덧붙였다.