IBM "똑똑한 AI, '데이터 레이크하우스'부터 달라야"

"신뢰가 보장되지 않은 인공지능(AI)이라면 기업은 쓸 수 없다. 결국 근간이 되는 데이터를 신뢰할 수 있는지다. 기업이 데이터가 있는 곳 어디서든 AI를 활용할 수 있게 하겠다는 게 IBM 전략이다."

글로벌 IT 기업 IBM이 기업의 AI 활용을 지원하는 솔루션 플랫폼을 내달 출시한다. 13일 이지은 한국IBM 최고기술책임자(CTO)는 이 플랫폼 '왓슨x'의 데이터 레이크하우스 솔루션 ‘IBM 왓슨x.데이터’를 발표하는 기자간담회에서 이같이 말했다.

생성AI를 중심으로 한 AI 혁신이 주목을 끌면서 기업들도 비즈니스에 AI를 접목하는 데 적극적인 상황이다. 그러나 많은 기업들이 이 과정에서 데이터 문제로 어려움을 겪고 있다는 설명이다.

시장조사업체 IDC에 따르면 전 산업군에서 대대적인 디지털 전환이 이뤄지면서 향후 5년간 기업이 보유한 데이터 양은 250% 이상 증가할 것으로 예상된다. 그러나 온프레미스와 퍼블릭·프라이빗 클라우드 등 다양한 환경에 데이터가 분산돼 있어 이를 일괄 조회하거나 활용하기 쉽지 않다. 데이터도 정형화돼있지 않아 한 번 활용하기 위해서 데이터를 정제하는 것만에도 상당한 노력이 필요하다는 것이다.

현재까지의 데이터 접근 방식은 이런 문제를 해소하기 어려웠다. 최석재 한국IBM 데이터&AI 기술 영업 총괄 상무는 "기업이 경영 지표 외에도 모든 데이터를 모으기 위해 데이터 레이크하우스라는 개념이 새겨났고, 초기엔 저렴한 비용으로 비정형 데이터를 아우르면서 용량에 한계가 없고, 데이터 분석에 대한 다양한 용례를 지원한다는 점에서 조명을 받았다"면서 "그러나 초기 모델들은 클라우드에 맞춰 만들어져 이용에 제약이 따랐고, 경영자와 데이터 분석가 양자의 수요를 동시에 충족해주는 기술은 아니라는 점에서 한계가 있었다"고 진단했다.

왓슨x.데이터는 이런 문제점들을 극복하는 데이터 레이크하우스라고 소개했다. 온프레미스와 클라우드 등 모든 환경을 지원해 기업이 보유한 전체 데이터를 일괄적으로 조회할 수 있게 하면서, 고차원 분석을 위한 기능도 탑재했다.

IBM은 멀티 쿼리 엔진과 스토리지 계층 기술로 AI 및 분석 작업을 최적화하고, 데이터 용도에 따라 컴퓨팅 및 저장 공간을 확장 또는 축소해 데이터 웨어하우스 대비 비용을 50%까지 절감할 수 있다고 했다.