[기고] 스노우플레이크가 제안하는 기업 환경을 위한 생성형 AI

생성형 AI는 생산성을 개선하며 데이터에서 더 많은 가치를 창출하는 새로운 방법을 제시한다. 하지만 기업은 생성형 AI를 도입하기에 앞서 ‘데이터는 과연 신뢰할 수 있는 것인가?’, ‘새로운 기술 채택을 위해 컴퓨팅 환경을 새롭게 구축해야 하는가?’, ‘생성형 AI 기능을 제공하는 애플리케이션을 구축하고 운영해야 하는가?’와 같은 다양한 고민이 생긴다. 그런데 흥미로운 것은 이 모든 고민들의 출발은 ‘데이터’라는 분명한 사실이다. 기업은 올바른 데이터 전략 없이 올바른 AI 전략을 수립할 수 없다. 본 글에서는 스노우플레이크 단일 플랫폼에서 제공하는 생성형 AI와 관련 기능에 관해 설명하고자 한다.

기업 환경에서 안전한 생성형 AI 활용을 위해 데이터, 대규모언어모델(LLM), 심지어 생성형 AI 애플리케이션까지 일관되게 적용할 수 있는 광범위한 데이터 보안 및 거버넌스 체계를 구축해야 한다. 또한 데이터와 이 데이터로 학습된 모델을 포함해, 전체 생성형 AI 스택들이 안전하게 보호되어야 한다. 데이터 플랫폼과 LLM 환경을 통합하여 기업 데이터가 외부로 유출되는 것을 방지하고 새로운 기술을 위한 투자 비용을 최소화하는 것도 중요하다.

아래 그림은 스노우플레이크 데이터 클라우드 플랫폼에서 제공하는 생성형 AI 기능이다. 이 모든 기능은 데이터를 기반으로 한다. 기업 전반에 분산된 데이터는 데이터의 유형, 형식, 구조와 관계없이 단일 플랫폼에 통합돼 안전하게 보호 및 관리된다.

■ 데이터에 LLM 가져오기

생성형 AI를 위한 데이터가 준비되면 사용자는 LLM 관련 기능을 안전하고 자유롭게 사용할 수 있어야 하고, AI 애플리케이션도 빠르게 구축, 활용할 수 있어야 한다. 또한 생성형 AI가 제공하는 잠재력을 최대한 활용하기 위해서는 전문가뿐만 아니라 AI 전문 지식이 없는 사용자 누구라도 서비스를 쉽고 안전하게 접할 수 있어야 한다.

이를 위해 스노우플레이크는 데이터가 있는 환경에 LLM 관련 기능을 제공하고자 스노우플레이크 코텍스(Cortex)를 개발했다. 스노우플레이크 플랫폼에서는 미스트랄, 메타, 구글에서 제공하는 LLM 모델뿐만 아니라 자체 개발한 LLM이 내장된 상태로 제공된다. 다양한 LLM은 스노우파크 컨테이너 서비스(SPCS)를 통해 데이터 플랫폼 내에서 실행, 파인튜닝 된다. 코텍스에서 제공하는 다양한 기능으로 개발 생산성과 사용자 경험을 개선하고 새로운 분석 인사이트 또한 제공할 수 있다.

이러한 LLM 관련 기능들은 서버리스 기반의 완전 관리형 서비스로 제공되기 때문에, 사용자는 생성형 AI를 위해 높은 비용을 들여 GPU 인프라를 구축하거나 관리할 필요가 없다. 필요한 시점에 코텍스에서 제공하는 서비스를 사용할 수 있으며, 사용한 만큼의 비용만 과금되기 때문에 효율적인 비용으로 생성형 AI 기반의 새로운 사용자 경험을 누릴 수 있다. 스노우플레이크 플랫폼에 내장되지 않은 다른 LLM이나 AI21 랩스, 레카(Reka), 엔비디아 네모(NeMO) 등 상용 LLM들도 스노우플레이크 마켓플레이스를 통해 사용자 환경에 간편하게 설치하고 실행할 수 있다.

■ 스노우플레이크 코텍스

스노우플레이크 코텍스는 스노우플레이크 데이터 클라우드 플랫폼의 핵심 생성형 AI 기능이다. 코텍스는 사용자가 프롬프트를 정의할 필요 없이 번역, 감정 분석, 요약과 같은 작업을 빠르고 비용 효율적으로 실행할 수 있는 기능을 제공한다.

코텍스는 LLM에 관련된 다양한 기능들을 다음과 같은 관리형 함수로 제공한다.

-EXTRACT_ANSWER(미리보기): 질문과 구조화되지 않은 데이터가 입력되면 질문에 대한 답변을 제공한다.

-SENTIMENT(미리보기): 요청 받은 텍스트에서 감지된 긍정 또는 부정적 감정을 제공한다.(긍정:1, 부정:-1)

-SUMMARISE(미리보기): 요청 받은 텍스트의 요약을 제공한다.

-TRANSLATE(미리보기): 요청 받은 텍스트를 다른 언어로 번역한다.

코텍스의 첫 번째 장점은 사용 편의성이다. 생성형 AI 기능 구현을 위해 별도의 인프라 구축이나 관리가 필요 없다. 두 번째는 구현 편의성이다. 소개한 생성형 AI 기능들은 복잡한 구현 없이 단순하게 코텍스에서 제공하는 함수를 SQL이나 파이썬 코드에서 호출하면 된다.

이외에도 코텍스는 COMPLETE 함수와 TEXT2SQL 함수를 추가로 제공한다.

-Complete(미리보기): 프롬프트의 입력값을 대상으로 LLM을 사용해 응답 텍스트 결과를 제공한다.

-Text2SQL(미리보기): 프롬프트에 입력된 자연어를 기반으로 스노우플레이크에서 실행 가능한 SQL문을 제공한다.

이 함수들은 다양한 LLM을 서버리스 기반의 SQL 또는 파이썬 함수 형식으로 제공하는 것이 특징이다. 사용자는 미스트랄, 라마 및 구글의 LLM을 요구사항에 맞게 선택해 사용할 수 있다.

COMPLETE와 TEXT2SQL 함수는 스노우플레이크 환경에서 운영되는 앱 개발에도 쓰일 수 있다. 스트림릿에서 개발한 단 몇 줄의 파이썬 코드로 특정 업무 목적에 맞는 챗봇을 개발하거나 커스터마이징한 코파일럿을 개발해 활용할 수 있다.

■ 도큐먼트 AI(미리보기 기능)

도큐먼트 AI는 스노우플레이크의 자체 멀티 모달 LLM을 활용해 비정형 파일(예: PDF, WORD, TXT 등)을 새로운 데이터 소스로 처리하는 기능이다. 비정형 데이터를 정형화할 수 있는 파이프라인 기능이 포함돼 있으며, 직관적인 UI로 데이터를 사전 학습하고 비정형 데이터에서 필요한 정보를 자연어 기반으로 쉽게 추출할 수 있다.

■ 유니버설 서치(미리보기 기능)

유니버설 서치는 스노우플레이크 플랫폼 내의 데이터와 앱을 간편하게 검색하고 사용할 수 있게 하는 LLM 기반 검색 기능이다. 데이터베이스, 테이블, 칼럼과 같은 메타 정보를 탐색하는 데이터 거버넌스 기능으로 활용할 수도 있다. 마켓플레이스의 데이터나 앱을 쉽게 검색하거나, 스노우플레이크와 관련된 기술 사항을 자연어 기반으로 질의하고 원하는 답변을 얻음으로써 사용자 경험을 개선하는 용도로 활용된다.

■ 스노우플레이크 코파일럿(미리보기 기능)

코파일럿은 자연어로 SQL을 생성하고 구체화하는 LLM 기반의 개발 도우미다. SQL을 모르는 사용자도 쿼리를 생성하고 구체화함으로써 데이터 분석에 대한 어려움을 낮추고 진정한 ‘데이터 민주화’를 경험할 수 있다. 이 텍스트 코드 변환 기능은 앞서 설명한 코텍스의 Text2SQL 함수를 사용해 함수 또는 사용자 애플리케이션에서 활용할 수 있다.

■ 스노우플레이크 아크틱

스노우플레이크는 올해 4월 아파치 2.0 라이선스로 업계 최고 수준의 개방성과 성능을 제공하는 기업용 LLM인 ‘스노우플레이크 아크틱’을 출시했다. 이 파운데이션 모델은 스노우플레이크만의 독창적인 전문가 혼합(MoE) 아키텍처로 설계돼 동급 최고의 성능과 생산성을 보인다. 스노우플레이크 아크틱은 다음과 같이 다섯 개의 서로 다른 용량을 가진 모델을 제공한다.

아크틱은 스노우플레이크 AI 연구소에서 실제 검색 워크로드에 중점을 두고 개발한 LLM이다. MTEB에 따르면 3억 3천400만 개의 매개 변수를 가진 아크틱(Snowflake Arctic-Embed-L) 모델은 오픈AI에 비해 추정 매개변수가 4분의 1 수준밖에 되지 않는다. 데이터의 차원은 3분의 1 수준이지만, 검색 성능은 더 높다. 이는 10억 개 이상의 매개변수를 가진 모델들도 달성하기 어려운 성능이다.

아크틱의 주요 특징은 다음과 같다.

-아크틱 임베드 모델은 5가지 크기(X-Small부터 Large)로 제공된다. 모델의 크기는 2천300만~3억 3천400만 개의 매개변수로 구성돼 있으며, 사용자는 요구사항에 따라 적합한 모델을 선택하여 사용할 수 있다.

-아크틱은 아파치 2.0 라이선스를 통해 제공되며, 가중치, 코드, 데이터 레시피 및 연구 과정에서 얻은 다양한 인사이트를 제공한다.

-아크틱은 Dense + MoE 아키텍처를 혼용해 설계됐다. 이에 학습 효율성은 높아졌고 더 낮은 비용으로 더 나은 성능을 제공한다. 아크틱 모델의 크기는 유사한 품질의 임베딩 모델과 비교해 더 작기 때문에 대기 시간을 줄이고 TCO를 절감하는 데 도움이 된다.

-검색 증강 생성(RAG) 또는 시맨틱 검색 서비스에서 아크틱을 사용할 경우, 높은 검색 성능에 기반한 고품질의 서비스를 제공할 수 있다.

-스노우플레이크 아크틱은 현재 허깅페이스에서 직접 다운로드 받아 사용할 수 있으며, 곧 스노우플레이크 코텍스에 통합될 예정이다. 또한, 아마존웹서비스(AWS), 라미니, 마이크로소프트 애저, 엔비디아 API 카탈로그, 퍼플렉시티, 레플리케이트 및 투게더 AI의 카탈로그를 통해서도 제공될 예정이다.

-일반적인 메트릭스를 위한 모델 훈련과 달리 아크틱은 SQL 생성, 코딩 지원 및 명령 이행과 같이 기업 환경에서 뛰어난 성능을 제공하기 위한 특화된 데이터 커리큘럼을 채택했다.

그동안 AI 모델 학습 알고리즘은 심층 신경망(DNN), 순환신경망(RNN), 장단기 기억(LSTM) 등을 거쳐 트랜스포머까지 꾸준히 발전해 왔지만, AI 모델 분야에서 트랜스포머 이후로 획기적인 발전을 이뤄내지는 못했다. 오픈AI가 매개변수를 늘려 LLM을 선보인 이후부터는 알고리즘 개선보다는 아키텍처 개선에 집중하기 시작했다. 현재 AI 아키텍처는 환각 현상, 경량화, 그리고 혼합이라는 세 가지 관점에 주력하고 있다. 아크틱의 가장 큰 장점은 앞서 설명한 세 가지 주력 사항을 모두 개선하는 독점적인 MoE 아키텍처를 기반으로 설계되었기 때문에, 작은 모델을 유지하면서도 효율적으로 실행한다. 다음 그림과 같이 아크틱은 유사한 다른 모델과 비교해 뛰어난 학습과 추론 성능을 보인다.

아크틱 모델 학습의 경우, 서로 다른 데이터 세트로 구성된 세 단계로 나눠 진행한다. 첫 단계에서는 1T 토큰을 사용해 일반적인 기술을 학습하고, 이후 두 단계에서는 1.5T 및 1T 토큰을 사용해 기업 중심의 기술을 집중적으로 학습한다. 이러한 점진적인 학습 과정은 더욱 복잡한 매트릭스를 효과적으로 학습할 수 있는 기반을 제공한다.

아크틱 모델 추론 효율성도 학습과 마찬가지로 좋은 성능을 제공한다. 아크틱 모델은 특정 작업을 수행할 때 필요한 매개변수만을 활성화 상태로 유지하기 때문에 전체적인 연산 비용을 절감하고, 빠르고 효율적인 추론을 가능하게 한다. 빠른 추론 성능은 기업 환경에서 LLM을 사용하는 경우 매우 중요한 평가 지표로 여겨진다.

일반적으로 LLM은 매개변수 수가 많은 모델을 의미한다. 이러한 파운데이션 모델의 가장 큰 문제점은 높은 비용이다.

초창기 LLM 분야에서는 고밀도 트랜스포머 아키텍처를 주로 선택했다. 모델 품질 개선을 위해 모델 크기를 쉽게 확장할 수 있었기 때문이다. 하지만 임계값 이상으로 모델 크기를 확장하기 위해서는 높아지는 연산 복잡도만큼 많은 컴퓨팅 비용이 소요된다. 오늘날 GPU는 매우 비싼 리소스이기 때문에 기존 고밀도 트랜스포머 모델을 학습하는 것은 시간과 비용 측면에서 큰 투자가 아닐 수 없다. 이러한 문제점을 해결하기 위해 사용된 방법이 MoE 아키텍처이다. MoE 아키텍처는 모델 레이어를 전문가 하위 네트워크가 원래 레이어와 동일한 크기의 MoE 레이어로 대체한다. 이로써 모델 학습과 추론에 필요한 컴퓨팅 비용을 증가하지 않으면서도 모델 품질을 향상한다는 장점이 있다.