MS, 통합 데이터 플랫폼 '패브릭' 정식 출시

데이터 수집부터 AI 학습까지 통합 엔지니어링 환경 제공

마이크로소프트가 통합 데이터 플랫폼 '마이크로소프트 패브릭'을 정식 출시했다. 데이터 수집부터 AI 학습에 이르는 일련의 데이터 엔지니어링 워크플로우를 단일 플랫폼에서 제공한다.

마이크로소프트는 15일(현지시간) 미국 시애틀에서 개최한 연례 컨퍼런스 '마이크로소프트 이그나이트2023'에서 '마이크로소프트 패브릭'을 정식 출시한다고 발표했다.

마이크로소프트 패브릭은 지난 5월 개발자 컨퍼런스 '마이크로소프트 빌드2023'에서 공개된 데이터 플랫폼이다. 마이크로소프트 애저의 다양한 데이터 관련 제품과 서비스를 하나로 묶어 기업의 데이터 자산화와 AI 워크로드 구축을 지원한다.

마이크로소프트 패브릭 아키텍처 요약

데이터 분석에 필요한 수집, 처리, 저장, 통합, 분석, 시각화, 보안, 거버넌스 등 각종 하위 시스템을 망라해 구성된 데이터 플랫폼이다. 서비스형 소프트웨어(SaaS) 형태로 제공되며 일련의 분석 프로세스를 자동화해 데이터 엔지니어, 데이터웨어하우스 담당자, 데이터 과학자, 분석가, 비즈니스 사용자 등이 함께 활용할 수 있다.

애저 및 멀티 클라우드의 데이터레이크 저장소와, 마이크로소프트 파워BI, 애저 시냅스 애널리틱스, 애저 데이터 팩토리 등을 결합했고, 특정 작업에 특화된 7가지 핵심 워크로드를 SaaS 형태로 이용할 수 있게 한다. 단일 용량 풀과 스토리지를 제공하고, 데이터 환경 전반에 거버넌스와 보안 기능을 적용할 수 있다.

마이크로소프트 패브릭을 통해 분석 서비스 통합에 드는 일반적 비용과 노력을 줄이고 데이터 자산을 단순화하는데 도움을 준다고 회사측은 설명했다.

마이크로소프트 패브릭의 데이터레이크는 '원레이크'란 이름으로 제공된다. 모든 패브릭 워크로드에 자동으로 연결된다. 원레이크 바로가기를 사용하면 애저 데이터레이크 스토리지 젠2 및 아마존 S3 등의 소스를 이용해 클라우드, 계정, 도메인 전체에서 데이터를 복제, 이동, 메타데이터나 소유권 변경 등의 절차를 거치지 않고 원레이크로 가상화할 수 있다. 원레이크에서 활성화되면 도메인과 작업 영역을 사용해 데이터를 논리적 메시로 구성하고, 구성원 모두가 직관적으로 개인화된 데이터허브에서 메시를 검색할 수 있게 한다.

원레이크 위에는 데이터팩토리, 시냅스 데이터 엔지니어링, 시냅스 데이터 애널리틱스, 시냅스 데이터웨어하우징, 시냅스 리얼타임 애널리틱스, 파워BI, 데이터 액티베이터 등이 존재한다.

데이터팩토리는 클라우드나 온프레미스 데이터 원본에 대한 150개 이상의 커넥터, 데이터 변환을 위한 끌어서 놓기 환경, 데이터 파이프라인 오케스트레이션 기능 등을 제공한다.

시냅스 데이터 엔지니어링은 아파치 스파크 작성 환경, 라이프풀로 즉시 시작, 공동 작업 등의 기능을 제공한다.

시냅스 데이터 사이언스는 데이터 과학자를 위한 요소로, 정교한 AI 모델을 구축해 공동 작업하며 머신러닝 모델을 교육, 배포, 관리할 수 있는 워크플로우를 제공한다.

시냅스 데이터웨어하우스는 통합된 DW와 데이터레이크하우스 환경을 제공한다. 개방된 데이터 형식에서 SQL 성능을 활용할 수 있다. 정식 출시와 함께 미러링을 이용할 수 있게 됐다. 미러링은 데이터베이스 스냅샷을 델타 파케이 테이블의 원레이크에 복제하고 실시간에 가깝게 복제본의 동기화를 유지한다. 원본 데이터베이스를 연결하면 바로가기, 파워BI 다이렉트레이크 모드, 범용 보안 모델 등의 기능이 즉시 작동한다. 향후 애저 코스모스DB, 애저 SQL DB, 스노우플레이크, 몽고DB 등도 미러링을 사용해 원레이크 데이터에 접근할 수 있게 된다. 향후 데이터 소스가 추가될 예정이다.

팀즈, 아웃룩, 셰어포인트, 비바인사이트 등의 통합 데이터 모델인 '마이크로소프트 그래프'와도 기본으로 통합된다. 마이크로소프트365의 방대한 작업 데이터가 JSON 형식 외에도 원레이크에 쉽게 통합될 수 있도록 델타 파케이 형식으로도 제공된다.

시냅스 리얼타임 애널리틱스는 사물인터넷(IoT) 장치, 원격 분석, 로드 등의 스트리밍 데이터를 처리하는 요소다. 고성능과 짧은 대기시간으로 반정형 데이터를 분석할 수 있다.

패브릭의 파워BI는 비즈니스 분석가와 사용자를 위한 분석 및 시각화 도구다. 마이크로소프트365와 통합돼 엑셀, 팀즈, 파워포인트, 셰어포인트 등 비즈니스 사용자의 데이터를 분석할 수 있다.

데이터 액티베이터는 데이터 실시간 감지와 모니터링을 제공한다. 코드 없는 환경에서 데이터의 지정된 패턴을 찾아 알림과 작업 트리거를 수행한다.

마이크로소프트 패브릭은 데이터레이크를 위한 데이터 소스 미러링 기능을 제공한다.

마이크로소프트 패브릭은 AI 워크로드의 기반 역할을 하도록 특별히 설계됐다. 마이크로소프트 패브릭의 모든 계층은 AI 기능을 갖고 있다. 마이크로소프트 패브릭 코파일럿을 이용해 자연어로 데이터 흐름과 파이프라인을 만들고, SQL 문을 작성하고, 보고서를 작성하며, 머신러닝 모델을 개발할 수 있다. 파워BI는 수 초 안에 보고서를 만들고 인사이트를 서술형 요약으로 제공한다. 데이터팩토리는 자연어를 사용해 데이터 수집 및 변환 방법을 간단히 설영하고, 코파일럿에게 실제 작업을 수행하게 할 수 있다.

마이크로소프트 패브릭 코파일럿은 미리보기로 출시됐다. F64 이상 패브릭 용량이나 파워BI 프리미엄(P1 이상)을 보유한 고객은 내년 3월말까지 코파일럿을 이용할 수 있게 된다.

마이크로소프트는 패브릭에 거버넌스 및 보안 제품의 기능을 적용한다. 마이크로소프트 퍼뷰(Purview)와 통합해 거버넌스와 보안 기능을 확장하게 됐따. 퍼뷰 인포메이션 프로텍션 민감도 라벨을 수동 적용해 중요한 패브릭 데이터를 분류할 수 있다. 퍼뷰 감사 로그에서 사용자 및 시스템 작업을 자동으로 캡처해 감사를 단순화할 수 있다.

패브릭 아티팩트를 마이크로소프트 퍼뷰 데이터맵에 주입하게 된다. 데이터 맵은 모든 패브릭 인스턴스에 자동으로 프로비저닝되고 연결된다. 퍼뷰 데이터 카탈로그의 데이터 자산 전체에서 패브릭 및 기타 자산을 찾고 검색할 수 있다. 이를 위해 중앙 집중식 페이지인 '퍼뷰 허브'를 제공한다.

마이크로소프트 패브릭은 60일 무료 평가판으로 테스트해볼 수 있다. 필요에 따라 용량을 동적으로 확장 혹은 축소하거나 일시중지할 수 있는 종량제 가격 옵션을 선택할 수 있다. 패브릭 용량 단위는 1년마다 사전 커밋해 종량제보다 40.5%까지 절약할 수 있는 패브릭 리저브 가격제도 도입됐다. 원레이크 BCDR 및 캐시 스토리지 가격도 발표됐다.

마이크로소프트는 지난 6개월의 미리보기 기간 동안 포춘500대 기업의 67%를 포함하는 2만5천개 조직이 마이크로소프트 패브릭을 시범 도입했다고 밝혔다. 이중 84% 기업이 3개 이상의 워크로드를 사용하고 있다고 설명했다.

마이크로소프트 패브릭에 대해 사티아 나델라 회장은 "SQL서버 이후 사상 최대 규모의 데이터 제품 출시"라고 의미를 부여했다.