AWS, 데이터 통합 혁명 선언…‘세이지메이커’로 AI 개발 속도↑ 비용↓

[AWS 리인벤트] 세이지메이커 유니파이드 스튜디오·레이크하우스 기능 공개

"기업은 고속 SQL 분석과 페타바이트 규모의 빅데이터 처리, 테이터 탐색·통합, 모델 개발, 생성형 인공지능(AI) 기능을 한 플랫폼으로 통합하고 싶어 합니다. 새로운 '세이지메이커'를 통해 더 낮은 가격으로 개발 속도를 높일 수 있습니다."

맷 가먼 아마존웹서비스(AWS) 최고경영자(CEO)는 6일까지 미국 라스베이거스에서 열린 'AWS 리인벤트'에서 한 플랫폼에서 목적에 맞게 모델 개발과 데이터 분석을 지원하는 솔루션 '아마존 세이지메이커' 새 시리즈를 4일 공개하며 이같이 밝혔다. 

차세대 세이지메이커는 오늘부터 사용할 수 있다. 현재 세이지메이커 유니파이드 스튜디오는 프리뷰 버전으로 제공되고 있으며, 빠른 시일 내에 정식 출시될 예정이다.

"세이지메이커 유니파이드 스튜디오, 빠른 협업·구축 도와"

세이지메이커 유니파이드 스튜디오는 조직 전반의 데이터를 쉽게 찾고 접근할 수 있게 돕는다. 목적에 따라 구축된 AWS 분석, 머신러닝(ML)과 AI 기능을 통합해 고객이 모든 유형의 일반적인 데이터 사용 사례에서 최적의 도구로 데이터를 활용할 수 있도록 돕는다. 이 과정에서 아마존 Q 디벨로퍼 지원을 받는다.

맷 가먼 AWS 최고경영자가 기조연설을 하고 있다. (사진=AWS)

오늘날 수십만 고객이 세이지메이커로 ML 모델을 구축하고 학습, 배포하고 있다. 또 많은 고객들이 SQL 분석과 검색 분석, 빅데이터 처리, 스트리밍 분석을 포함한 광범위한 워크로드를 지원하기 위해 AWS의 포괄적인 목적별 분석 서비스 세트에 의존하고 있다. 

고객들은 점차 이러한 도구들을 단독으로 사용하지 않고 분석, ML, 생성형 AI를 조합해 인사이트를 도출하고 사용자를 위한 새로운 경험을 제공하는 데 사용하고 있다. 이런 고객들은 분석, ML, 생성형 AI를 위한 친숙한 AWS 도구로 모든 데이터에 쉽게 접근할 수 있다. 팀 또는 조직의 다른 구성원들과 데이터 프로젝트에서 쉽게 협업할 수 있는 통합 환경의 이점을 누릴 수 있다.

세이지메이커 유니파이드 스튜디오는 아마존 베드락을 비롯한 아마존 EMR, 아마존 레드시프트, AWS 글루, 기존 세이지메이커 스튜디오에서 고객이 현재 사용 중인 독립형 스튜디오, 쿼리 에디터, 시각적 툴을 한데 모아 제공한다. 고객은 이런 쉽게 접근해 데이터를 검색·준비하고, 쿼리나 코드를 작성하고, 데이터를 처리함으로써 ML 모델을 구축할 수 있다.

사용자는 세이지메이커 유니파이드 스튜디오의 아마존 베드록 통합 개발 환경(IDE)로 에이전트, 가드레일, 지식 기반, 플로우 등 아마존 베드락의 고성능 기반 모델과 도구를 사용해 빠르고 쉽게 생성형 AI 애플리케이션을 구축하고 배포할 수 있다. 

세이지메이커 유니파이드 스튜디오에는 데이터 검색, 공유, 거버넌스 기능이 기본으로 제공돼서 분석가, 데이터 과학자, 엔지니어는 원하는 보안 제어 및 권한을 적용하고 액세스 제어를 유지한다. 이를 통해 데이터를 보호하면서 사용 사례에 필요한 올바른 데이터를 쉽게 검색하고 찾을 수 있다.

"세이지메이커 레이크하우스로 데이터 사일로 줄인다"

새로운 세이지메이커 레이크하우스는 데이터 레이크와 데이터 웨어하우스, 운영 데이터베이스, 엔터프라이즈 애플리케이션 전반의 데이터를 통합해 세이지메이커 유니파이드 스튜디오 내에서 데이터에 쉽게 액세스하고 작업할 수 있게 돕는다. 아파치 아이스버그(Apache Iceberg)와 호환되는 익숙한 AI와 ML 도구, 쿼리 엔진을 사용할 수 있다.

AWS는 새로운 세이지메이커 레이크하우스를 출시했다. (사진=AWS)

개발자는 주요 서비스형 소프트웨어(SaaS) 애플리케이션과의 새로운 제로-ETL(zero-ETL) 통합을 진행할 수 있다. 복잡한 데이터 파이프라인 없이 분석이나 ML을 위해 세이지메이커 레이크하우스와 아마존 레드시프트에서 서드파티 SaaS 애플리케이션의 데이터에 쉽게 접근할 수 있다.

세이지메이커 레이크하우스는 아마존 S3 데이터 레이크, 레드시프트 데이터 웨어하우스, 연합데이터 소스에 저장된 데이터에 대한 통합 접근을 제공한다. 이를 통해 데이터 사일로를 줄이고 데이터가 물리적으로 어떻게 어디에 저장되어 있든 쉽게 쿼리할 수 있도록 한다.

세이지메이커의 이 새로운 아파치 아이스버그 호환 레이크하우스 기능을 통해 고객은 세이지메이커 유니파이드 스튜디오에서 또는 아파치 아이스버그 오픈 표준과 호환되는 친숙한 AI 및 ML 도구와 쿼리 엔진으로 모든 데이터에 접근하고 작업할 수 있다. 

고객은 데이터가 물리적으로 어떻게 어디에 저장되어 있든 선호하는 분석 및 ML 도구를 데이터에 사용해 SQL 분석, 임시 쿼리, 데이터 과학, ML, 생성형 AI를 포함한 사용 사례를 지원할 수 있다. 

세이지메이커 레이크하우스는 레이크하우스의 모든 분석 및 AI 도구에서 데이터에 일관되게 적용되는 통합된 세분화된 접근 제어를 제공함으로써 고객이 권한을 한 번 정의하고 조직 전반에서 데이터를 안전하게 공유할 수 있도록 한다.

SaaS 앱과 제로-ETL 통합…데이터에 빠르고 쉽게 접근

AWS는 제로-ETL을 통해 수작업 없이 데이터 통합을 수행하고 고객이 필요한 곳에서 데이터를 쉽게 얻도록 돕는다. 

AWS는 제로-ETL을 통해 수작업 없이 데이터 통합을 수행하고 고객이 필요한 곳에서 데이터를 쉽게 얻도록 돕는다. (사진=AWS)

아마존 오로라 MySQL과 포스트그레SQL, 아마존 RDS 포 MySQL, 아마존 다이나모DB, 아마존 레드시프트와 제로-ETL 통합이 포함돼 고객이 분석과 ML을 위해 레드시프트와 세이지메이커 레이크하우스에서 인기 있는 관계형·비관계형 데이터베이스의 데이터에 빠르고 쉽게 접근할 수 있도록 돕는다. 

운영 데이터베이스와 데이터 레이크 외에도 많은 고객이 중요한 엔터프라이즈 데이터를 SaaS 애플리케이션에 저장하고 있으며, 분석 및 ML을 위해 이 데이터에 쉽게 액세스할 수 있는 이점을 누릴 수 있다.

SaaS 애플리케이션과의 새로운 제로-ETL 통합 기능은 고객이 애널리틱스와 AI를 위해 세이지메이커 레이크하우스와 레드시프트에서 젠데스크(Zendesk)와 SAP와 같은 애플리케이션을 통해 자사 데이터에 쉽게 접근할 수 있도록 한다. 

가먼 CEO는 "이는 구축하기 어렵고 비용이 많이 들며, 관리가 복잡하고, 시간에 민감한 인사이트 접근을 지연시킬 오류가 발생하기 쉬운 데이터 파이프라인의 필요성을 제거한다"며 "SaaS 애플리케이션을 위한 제로-ETL 통합 기능은 전체 데이터 동기화, 증분 업데이트·삭제 감지, 대상 병합 작업에 대한 모범 사례를 통합한다"고 강조했다. 

이어 "운영 전반에서 데이터를 진정으로 활용하기 위해 기업은 데이터 위치에 관계없이 모든 데이터에 원활하게 접근할 수 있어야 한다"며 "해당 솔루션이 기업의 이슈를 해결할 것"이라고 덧붙였다.