스노우플레이크는 22일 온라인으로 진행된 스노우데이 2023를 통해 자사의 데이터 클라우드 플랫폼에서 AI/ML 관련 기술 지식없이 쉽고 안전하게 생성형 AI를 활용할 수 있는 완전 관리형 서비스 '스노우플레이크 코텍스(Cortex)'를 발표했다.
스노우플레이크 코텍스는 메타 라마2와 같은 대규모언어모델(LLM), 태스크 특화 모델, 고급 벡터 검색 기능, 서버리스 함수 세트에 바로 액세스할 수 있도록 지원한다.
이를 기반으로 고객들은 분석 속도를 높이고, 컨텍스트화된 LLM 기반의 앱을 수분 만에 구축할 수 있게 된다. 이와 더불어 스노우플레이크는 코텍스를 활용한 문서의 자연어 처리와 관리를 가능하게 하는 도큐먼트AI, LLM 어시스턴트 스노우플레이크 코파일럿, LLM 기반 검색 유니버설 서치를 프라이빗 프리뷰 형태로 공개했다.
완전 관리형 서비스인 스노우플레이크 코텍스는 고객들이 AI 전문 지식 또는 GPU 기반 인프라 관리 없이도 LLM과 AI를 쉽게 활용할 수 있도록 필요한 구성 요소를 제공한다. SQL 혹은 파이썬 코드의 함수 호출에서 사용할 수 있는 서버리스 함수 세트가 포함되며 함수 세트는 계속해서 추가될 예정이다. 스노우플레이크 코텍스는 특수 함수와 범용 함수 등의 기능을 포함한다.
특수 함수는 비용 효율성이 뛰어난 언어 모델과 AI 모델을 활용하는 태스크 특화 함수 세트로 분석 작업 속도를 높인다. 이 모델을 사용하면 주어진 입력 텍스트의 감성 정보 파악, 답변 도출, 텍스트 요약, 선택한 언어로의 번역 등이 가능하며, 특수 함수에는 예측, 이상 감지, 기여 탐색, 분류 등 스노우플레이크가 제공하는 기존 머신러닝 기반 함수도 포함된다.
범용 함수는 라마2 모델 등 업계 주요 오픈소스 LLM과 텍스트-SQL 변환 모델 등의 고성능 스노우플레이크 LLM을 활용한 대화형 함수 세트로 폭넓은 사용 사례를 지원하고 있어 사용자가 데이터와 쉽게 ‘대화’할 수 있게 된다. 이들 함수에는 벡터 임베딩과 검색 기능도 포함돼 있다. 따라서 사용자는 데이터를 활용해 모델의 응답을 컨텍스트화하고 사용자 맞춤형 앱을 수분 만에 생성할 수 있다. 또한 스노우플레이크 데이터 클라우드 내에 벡터를 네이티브 데이터 유형으로 추가할 수 있어 효과적으로 활용할 수 있도록 지원한다.
스노우플레이크 스트림릿도 LLM을 기반으로 한 사용자 맞춤형 앱을 빨리 구축하는 데 활용되고 있다. 스트림릿을 통해 파이썬 기반의 인터랙티브 앱으로 만들어 데이터와 AI 모델, 분석 및 앱 기능을 구현할 수 있다. 2023년 9월 기준, 총 1만개 이상의 앱이 스트림릿으로 개발되고 있으며 보험업체 프라이오리티 헬스, 쓰리엠, 보안 업체 앤빌로직, 부동산 관리 스타트업 앱폴리오, 의료업체 밥티스 헬스, 소프트웨어 기업 엑스페리언, 정보분석업체 트랜스유니온 등의 업체들이 활용하고 있다.
스노우플레이크는 코텍스 서비스로 구축된 LLM 기반 기능들도 함께 소개했다. 완전히 호스팅 및 관리된 사용자 인터페이스(UI)와 고성능 LLM이 포함되며, 모든 현업 부서와 데이터 애널리스트 모두에게 적합하다.
스노우플레이크 코파일럿은 새로운 LLM 기반 어시스턴트로, 자연어를 통해 스노우플레이크의 코딩 작업에 생성형 AI를 적용한다. 대화 형식으로 질문하면 관련 테이블을 활용하여 SQL 쿼리를 작성해 주며 쿼리를 개선하고 인사이트를 필터링하는 등의 작업을 수행할 수 있다.
유니버설 서치는 LLM 기반 검색 기능으로, 사용 사례와 가장 관련성 높은 데이터와 앱으로부터 가치를 빠르게 도출해낼 수 있도록 지원한다. 이를 통해 데이터베이스, 뷰, 아이스버그 테이블 등 고객의 스노우플레이크 계정에서 뿐 아니라 스노우플레이크 마켓플레이스와 스노우플레이크 네이티브 앱까지 한번에 검색할 수 있다.
도큐먼트AI는 스노우플레이크가 LLM 기반의 첫 기능으로 소개한 바 있는 도큐먼트 AI를 사용해 pdf, 워드, txt, 스크린샷 등과 같은 모든 파일에서 데이터를 추출할 수 있다. 청구 금액 또는 계약 약관 등의 정보를 문서에서 쉽게 추출하고 시각화 인터페이스와 자연어를 사용 결과를 정교하게 조정할 수 있도록 한다.
관련기사
- 스노우플레이크, ‘데이터클라우드 월드투어 2023’ 개최2023.09.05
- 스노우플레이크가 DW에서 AI로 나아가는 방법2023.09.04
- 스노우플레이크, 최기영 신임 한국지사장 선임2023.07.17
- 스노우플레이크, 마이크로소프트와 생성 AI 협력 강화2023.07.06
완전 맞춤형 LLM 앱을 개발하고자 하는 고급 사용자는 스노우플레이크 스노우파크 컨테이너 서비스를 사용하면 된다. 이를 통해 컨테이너화된 워크로드의 안전한 배포와 관리를 간편하게 수행할 수 있다. 스노우파크 컨테이너 서비스는 개발자가 상용 LLM 서비스와 벡터 데이터베이스 등의 정교한 타사 앱을 스노우플레이크 계정 내에서 실행할 수 있도록 하며 조직은 데이터 클라우드 내에서 오픈소스 LLM을 손쉽게 배포하고 운영 및 관리할 수 있게 된다.
슈리다 라마스워미 스노우플레이크 AI 부문 SVP는 “스노우플레이크는 고객들이 데이터의 안전성과 거버넌스를 확보하고 강력한 AI/ML 앱을 구축하는 데 필요한 데이터 기반과 AI의 최신 구성 요소를 제공해 AI 혁신 선두 주자가 될 수 있도록 지원하고 있다”며 “스노우플레이크 코텍스는 생성형 AI를 활용해 사용자 맞춤형 앱을 구축하거나 데이터를 기반으로 비즈니스 가치를 창출하도록 할 것”이라고 밝혔다.