"밀리초 단위 분석"…데이터브릭스, '레이크하우스 RT' 베타 출시

델타 레이크·아파치 아이스버그 데이터 분석…기존 대비 최대 16배 성능 향상

데이터브릭스가 실시간 데이터 분석 기능을 레이크하우스에 통합해 인공지능(AI) 에이전트 활용 환경을 개선했다.

데이터브릭스는 레이크하우스 실시간 버전 '레이크하우스 RT(Real-time)'를 베타 버전으로 공개했다고 18일 밝혔다. 해당 서비스는 거버넌스가 적용된 델타 레이크와 아파치 아이스버그 테이블에서 직접 실시간 분석을 수행할 수 있도록 지원한다. 

레이크하우스 RT는 새로운 컴퓨팅 엔진 '레이든' 기반으로 동작한다. 수만 명의 동시 사용자와 AI 에이전트를 지원하면서도 밀리초 단위 응답 속도를 제공하는 것이 특징이다.

데이터브릭스는 레이크하우스 실시간 버전 '레이크하우스 RT(Real-time)'를 베타 버전으로 공개했다. (사진=데이터브릭스)

기존에는 높은 동시성과 낮은 지연 시간이 필요한 환경에서 레이크하우스와 별도로 실시간 서빙 레이어를 구축해야 했다. 이 과정에서 데이터 복제와 추가 인프라 구축, 거버넌스 분산, 벤더 종속성 등 문제가 발생했다.

데이터브릭스는 레이크하우스 RT가 이를 해소한다고 설명했다. 사용자는 데이터를 복사하거나 이동하지 않고도 레이크하우스 내 최신 데이터를 직접 조회할 수 있으며 별도 동기화나 변경 데이터 캡처(CDC) 파이프라인도 구축할 필요가 없다.

레이크하우스 RT는 초당 1만 2000건 쿼리를 처리하는 상황에서도 100밀리초 미만 지연 시간을 기록했다. 고객사들은 기존 실시간 서빙 스택 대비 최대 16배 높은 성능을 확인했다.

레이든 엔진은 완전 비동기식 실행 구조를 적용했다. 소규모 데이터셋에서는 최저 10밀리초 수준 응답 속도를 제공하며 대규모 데이터셋에서도 100밀리초 미만 성능을 유지하도록 설계됐다.

모든 쿼리는 유니티 카탈로그 거버넌스 프레임워크 안에서 실행된다. 정책과 권한, 감사 기능을 별도 시스템 없이 적용할 수 있어 실시간 분석 환경에서도 데이터 통제를 유지할 수 있다.

레이크하우스 RT는 델타와 아이스버그 테이블을 직접 조회하는 방식도 지원한다. 별도 데이터 포맷 변환이나 데이터 수집 파이프라인 구축 없이 기존 테이블을 실시간 분석 환경에 활용할 수 있다.

데이터브릭스는 이번 출시가 AI 에이전트 시대를 겨냥한 전략이라고 설명했다. AI 에이전트는 반복적으로 데이터를 조회하고 추론을 수행해야 하는 만큼 빠른 응답 속도와 최신 데이터 접근성이 핵심 경쟁력으로 떠오르고 있다는 판단이다.

알리 고드시 데이터브릭스 공동창립자 겸 최고경영자(CEO)는 "레이크하우스 RT는 엔진 전체 스펙트럼을 완성해 사람들이 원하고 에이전트가 필요로 하는 밀리초 단위 속도 레이어를 제공한다"며 "우리가 가장 뛰어난 실시간 분석 엔진을 갖췄다는 점을 증명할 것"이라고 밝혔다.