[현장] 데이터 단절이 AI 전환 막는다…데이터브릭스, 에이전틱 시대 정면 돌파

"많은 기업이 데이터와 인공지능(AI)으로 사업을 전환하려 하지만 인수합병(M&A)·투자 결정·글로벌 확장 등으로 시스템이 파편화되면서 데이터는 중복 관리되고 거버넌스는 사방으로 흩어집니다."

닉 에어스 데이터브릭스 아시아태평양 필드 엔지니어링 담당 부사장은 1일 서울 강남구 그랜드 인터컨티넨탈 파르나스에서 열린 'AI 데이즈' 기조연설에서 "기업 AX의 근본 장애물은 데이터와 AI 환경의 단절"이라며 이같이 밝혔다.

에어스 부사장이 제시한 해법의 핵심은 분석 데이터와 운영 데이터 통합이다. 에이전틱 시대엔 운영 데이터가 자율 에이전트를 직접 구동하기에 두 영역이 단절된 채로는 AX가 불완전할 수밖에 없다는 논리다.

닉 에어스 데이터브릭스 아태 및 일본 지역 필드 엔지니어링 담당 부사장이 1일 서울에서 개최된 '데이터브릭스 AI 데이즈 서울'에서 기조연설을 하고 있다. (사진=지디넷코리아)

데이터브릭스는 ▲분석·머신러닝(ML)·AI 모델링 영역의 레이크하우스 ▲운영·에이전틱 영역의 레이크베이스 ▲데이터 파이프라인 자동화 도구 레이크플로우를 단일 플랫폼에 통합했다. 여기에 델타레이크·아이스버그 등 오픈 데이터 포맷 기반 설계로 특정 벤더 종속을 배제했다. 에어스 부사장은 "AI를 데이터가 있는 곳으로 가져가는 것이 우리가 말하는 데이터와 AI의 민주화"라고 강조했다.

이날 현장에선 데이터브릭스가 제공하는 통합 플랫폼을 활용 중인 국내 고객사 3곳의 실제 성과가 공개됐다. 놀유니버스(옛 야놀자)는 사일로화된 방대한 데이터를 전사가 직접 활용할 수 있는 구조로 바꾸는 데 데이터브릭스를 활용했다. 누적 회원 1300만명 규모의 숙박·여행·레저 슈퍼앱인 놀유니버스는 온·오프라인에 걸쳐 대규모 데이터를 보유하지만 필요한 데이터를 찾고 신뢰하기 어려운 구조가 문제였다.

이를 해결하기 위해 구축한 것이 데이터브릭스 기반의 자체 피처 스토어 '링스(LYNX)'다. 피처 생성부터 배포·관리까지 전 과정을 자동화하고 깃허브 코드 리뷰·버전 관리를 연동해 데이터 기여와 통제를 동시에 가능하게 했다. 이를 이용자 세그멘테이션과 개인화 마케팅 타기팅에 적용한 결과, 분석가에게 요청해 며칠씩 기다려야 했던 작업이 클릭 몇 번으로 즉시 실행 가능해졌다.

김영진 놀유니버스 CTO가 1일 서울에서 개최된 '데이터브릭스 AI 데이즈 서울'에서 발표하고 있다. (사진=지디넷코리아)

김영진 놀유니버스 최고기술책임자(CTO)는 "데이터브릭스 도입은 단순 기술 선택이 아니라 통합·자율·민첩성이라는 우리 데이터 철학에 부합하는 전략적 결정이었다"고 말했다.

티맵모빌리티는 4.7페타바이트 규모의 모빌리티 데이터를 전 직원이 직접 다룰 수 있는 환경을 만드는 데 데이터브릭스를 활용했다. 국내 최초 모바일 내비게이션으로 출발한 티맵은 가입자 2600만명 이상, MAU 1500만명 이상을 보유하며 주행 데이터를 축적하고 있다. 이를 분석·점수화한 운전점수 모델은 약관 동의 사용자 2200만명, 국내 주요 보험사 사용량기반보험(UBI) 커버리지 100%를 달성해 보험사와의 데이터 사업 선순환 구조를 구축했다.

하지만 테이블 6000개·파이프라인 150개 이상으로 규모가 커지면서 분석팀 중심 요청 처리만으로는 전사 활용 속도를 맞추기 어려워졌다. 티맵모빌리티는 데이터브릭스 유니티 카탈로그로 권한·접근 통제를 표준화하고, 한국어 자연어 분석 기능 '지니'를 도입해 비전문 인력도 데이터를 직접 탐색 가능한 환경을 마련했다.

도입 1년이 채 안 된 시점에 전체 직원의 71%가 직접 데이터를 활용하는 수준으로 확대됐고 분석팀 단순 데이터 추출 요청은 68% 줄었다. 이충우 티맵모빌리티 데이터플랫폼&AX 담당은 "분석 조직이 반복 대응 대신 고도화된 분석과 모델에 집중할 수 있는 환경이 됐다"고 설명했다.

LG유플러스는 AI 검색 서비스 복잡도가 급증하는 과정에서 비용과 성능을 잡기 위해 데이터브릭스를 핵심 수단으로 삼았다. 수백만 명이 사용하던 기존 키워드 검색을 AI 검색으로 전환하면서 AI 게이트웨이·오케스트레이션·하이브리드 리즈닝 리트리버·에이전틱 셀프 컬렉션 루프로 이어지는 다층 구조를 구축했다. 데이터브릭스에서 호스팅되는 구글 제미나이와 자체 개발 한국어 임베딩 모델을 결합해 멀티모델 기반도 완성했다.

통신 서비스 특성상 AI 응답의 할루시네이션을 허용할 수 없어 까다로운 테스트 절차를 거쳐야 했고, 검색 품질 향상을 위한 도메인 확장까지 더해지면서 시스템 복잡도가 초기 설계 대비 107% 증가했다. 데이터브릭스와 협력해 이 문제를 풀어낸 결과 비용은 36% 절감되고 응답 속도는 64% 향상됐다.

신정호 LG유플러스 상무는 "고객 요구사항이 늘고 있어 성능 개선 작업을 진행 중"이라며 "AI 통화 에이전트 '익시오'를 통한 보이스 AI 서비스 확장을 추진하고 있다"고 말했다.