데이터브릭스, 한국 시장서 연간 100% 성장

데이터브릭스는 23일 서울 인터컨티넨탈코엑스에서 개최한 ‘데이터 인텔리전스 데이’ 컨퍼런스’ 관련 기자간담회에서 지난 회계연도에 한국에서 연간 100% 이상의 성장을 달성했다고 발표했다. 국내 기업의 데이터 및 AI 수요 급증에 따른 결과라고 회사측은 설명했다.

데이터브릭스는 급속한 제품 혁신에 힘입어 지난 1월 31일 마감된 회계연도를 기준으로 전 세계적으로 16억 달러 (약 2조2천억원)이상의 매출을 기록했으며, 연간 50% 이상의 성장을 달성했다. 데이터브릭스는 지난 3월 출시 당시 표준 벤치마크에서 모든 오픈소스 모델을 능가하는 범용 대형언어모델(LLM) DBRX를 선보였다.

데이터 선도 기업들은 이미 데이터브릭스의 데이터 인텔리전스 플랫폼을 활용해 다양한 워크로드에서 비용 효율성과 고성능을 보장하는 동시에 비즈니스 운영을 최적화하고, 예측 분석 및 AI 애플리케이션 등을 통해 혁신을 이끌며, 고급 데이터 거버넌스 및 분석 기능을 통해 의사 결정을 개선해나가고 있다.

데이비드 마이어 데이터브릭스 제품 담당 수석 부사장

데이비드 마이어 데이터브릭스 제품 담당 수석부사장은 기조연설에서 “기업의 데이터 프로젝트를 AI와 결합하고자 할 때 실패로 귀결되기 쉬운데, 이는 워낙 다양한 사일로 시스템이 존재하기 때문”이라며 “데이터와 AI 시스템의 사일로는 내재적으로 복잡하며 거버넌스와 보안도 이 때문에 더 어려워지고, 여러 개발언어와 시스템을 이해해 쉽게 만들 수 있는 고도화된 기술인력도 확보하기 어렵다”고 말했다.

그는 “데이터브릭스의 레이크하우스 ‘델타레이크’는 비정형과 정형 데이터 모두를 레이크로 가져와서 정교화한 다음 데이터 복제와 이동없이 레이크 자체에서 활용하게 하므로 근본적으로 단순하다”며 “데이터레이크하우스만으로 충분하지 않고, 그 위에 거버넌스 레이어 ‘유니티 카탈로그’를 얹어 SQL, 스칼라, 자바, R 같은 각기 다른 엔트리 진입지점을 관리하고 데이터모델이나 노트북까지 모두 관리할 수 있다”고 강조했다.

데이터브릭스의 유니티 카탈로그는 전체 데이터 플랫폼의 거버넌스를 관리하는 계층이다. 모든 데이터 쿼리는 유니티 카탈로그를 거치게 되고, 사용자별로 데이터 접근권한을 관리할 수 있다. 유니티 카탈로그는 데이터브릭스 솔루션 외에 다양한 외부 거버넌스 시스템과도 통합가능하다.

데이터브릭스는 모자이크ML을 인수하고 최근 DBRX란 개방형 언어모델을 출시하는 등 생성형 AI 분야에 공격적인 투자를 하고 있다. 생성형 AI를 자사 플랫폼에 접목해 자연어로 데이터를 활용하게 하는 데이터 민주화를 추구한다.

데이비드 마이어 부사장은 “생성형 AI 자체를 레이크하우스에 녹여 근본적으로 새로운 것을 가능하게 했다”며 “데이터 인텔리전스 엔진을 델타레이크와 유니티 카탈로그 위에 얹어서 생성형 AI로 데이터 의미를 이해한다”고 말했다.

그는 “플랫폼에서 파티셔닝, 인덱싱, 레이어링, 리퀘스트 등의 기능을 자동화했으며, AI가 데이터 트래픽 패턴을 학습해 데이터를 재작성하고 사용자의 사용 행태에 따라 더 적은 비용으로 쿼리를 수행하도록 진화한다”며 “최고의 데이터웨어하우스는 훨씬 더 간결한 레이크하우스”라고 강조했다.

그는 “1년전 인수한 모자이크ML은 고객의 모델 학습과 미세조정을 더 저렴한 비용으로 할 수 있게 하며, 최대 10배의 비용을 절감시켜준다”며 “DBRX는 미세조정이나 자체 모델을 완벽히 제어할 수 있다”고 덧붙였다.

이날 기조연설에서 염화음 크래프톤 딥러닝실 데이터실장과 문효준 엘지전자 데이터플랫폼실 팀장이 무대에 올라 자사의 데이터브릭스 플랫폼 활용 사례를 공유했다.

에드 렌타 데이터브릭스 아태지역 총괄 수석 부사장

에드 렌타 데이터브릭스 아태지역 총괄 부사장은 “데이터브릭스 클라우드의 한국 리전 범위를 확대하고 서버리스 SQL을 5월 출시할 예정”이라며 “한국어 기술 지원을 시작하고, 제품 교육 및 인증 프로그램의 한국어 지원도 5월 중 이뤄질 것이며, 생성형 AI 기능의 한국 리전 확대와 모델 서빙, 벡터 서치 등도 한국에서 쓸 수 있을 것”이라고 밝혔다.

에드 렌타 데이 부사장은 “한국은 아태지역에서 가장 빠르게 성장하는 시장 중 하나”라며 “한국이 기업의 AI 도입에 대한 야심찬 목표를 가지고 있는 시장인 만큼, 데이터브릭스는 보다 많은 한국 고객들이 자체적인 프라이빗 데이터를 사용해 안전하게 AI를 활용할 수 있도록 지속적으로 지원해나갈 계획”이라고 말했다.

데이터브릭스의 데이터 인텔리전스 데이는 데이터브릭스 고객, 업계 리더, 기술 전문가, 파트너가 주도하는 심층 세션을 통해 자연어로 데이터 인사이트를 확보하는 방법부터 데이터 프라이버시 보호 및 제어를 유지하면서 생성형AI 애플리케이션을 개발하는 혁신적인 방법까지 자세히 살펴볼 수 있다. LG전자, 크래프톤, 여기어때컴퍼니, 정육각, 하이퍼커넥트, 신세계I&C, 스캐터랩, 아임웹 등이 연사로 나서 데이터 및 AI 여정을 공유했다.