DW의 자기배반, 한국에서 어색한 이유

최근 데이터웨어하우스(DW)업체들의 하둡 끌어안기가 한창이다. 빅데이터 영역에서 하둡은 필요없다며 목청을 높이던 자존심은 사라졌다.

하둡을 끌어안기 시작하는 DW업체의 변신은 미국의 경우 어느정도 일반적인 분위기다. 오라클, IBM, 테라데이타 등이 하둡을 품으려는 노력에 점차 가속도를 붙이고 있다. 향후 3년 안에 DW어플라이언스의 65%가 하둡을 품게 될 것이란 가트너의 주장은 이런 DW업체의 행보를 반영한다.

글로벌 DW업체의 한국지사로 시선을 돌리면 모양새가 어색하다. 각 회사의 한국지사들은 불과 지난달까지도 하둡을 무시하는 태도를 견지했다. 그러다 최근 본사의 태도 변화와 국내 대기업 빅데이터 움직임에 맞닥뜨리면서 하둡을 내세우는 모습이다. 회사마다 정도의 차이는 있지만, DW를 중심으로 유지하면서 하둡을 DW의 보완재로서 포장하고 있다.

외국계 DW업체 한국지사의 빅데이터에 대한 설명은 비정형 데이터를 강조하면서도, DW에 치우친다. 오히려 비정형 데이터를 모아서 정형데이터로 바꾸는 작업이 중요하다고 설명한다. 결론은 DW의 고도화다. 미국 본사가 말하는 DW와 하둡의 결합 양상과 다른 뉘앙스다.

■미국 ‘DW+하둡’ 한국 ‘DW+알파’

EMC는 최근 자체 하둡 배포판인 피보탈HD를 발표했다. 피보탈HD는 오픈소스인 아파치 하둡뿐 아니라 클라우데라, 호튼웍스, 맵R 등의 하둡과 상당부분에서 차이를 보인다. EMC는 피보탈HD에 대해 그린플럼의 MPP를 결합시켜 어느회사보다 강력한 성능을 보인다고 강조했다.

DW 어플라이언스의 원조를 자처하는 테라데이타도 하둡에 적극적으로 대처하고 있다. 테라데이터는 애스터와 테라데이타DB를 통합하면서, 동시에 하둡을 끌어안는 모습을 보였다. 그를 통해 나온 게 테라데이타 애스터 맵리듀스 플랫폼이다. 그리고 올해 통합 플랫폼인 유니티가 나왔다.

오라클의 경우 2011년부터 빅데이터 어플라이언스(ODA)를 내놓으며 하둡에 대응하기 시작했다. 오라클은 클라우데라와 손잡았고, 오픈소스 R에 대한 지원을 강화했다.

IBM은 이미 아파치 하둡을 개조한 '빅인사이트'란 자체 하둡을 갖고 있다. 빅인사이트는 엔터프라이즈 기업이 사용하기에 적합한 하둡이란 내용으로 설명된다. IBM은 여기에 실시간 데이터 흐름을 분석하는 스트림즈를 더한다. IBM의 빅데이터 전략은 인포스피어란 브랜드로 통한다. 그러나 네티자와 코그노스, SPSS 등DW용 분석 솔루션에 더 무게를 실으면서, 가장 하둡과 거리를 두는 회사로 남아있다.

그밖에 HP가 버티카, 오토노미 등에 아파치 하둡을 결합하는 형태를 띄고 있으며, MS는 호튼웍스를 통해 윈도용 하둡을 개발하고 있다.

하둡이 점차 기술적으로 성숙되면서, DW와 하둡의 우열을 가리기 힘들어질 날이 머지 않은 상황. 미국의 경우 이같은 분위기가 IBM, 오라클, EMC 같은 대형 DW업체의 적극적인 하둡 끌어안기에 그대로 반영된다.

반면, DW업체 한국지사의 설명은 더 전략적이다. 하둡의 가능성을 축소하면서, DW 중심의 분석 체계를 부각시키고 있다. 본사의 메시지 가운데 자사 솔루션 속에 하둡을 품어안으려 한다는 점이 더 강조되는 것이다.

오라클, EMC, 테라데이타, HP 등의 한국지사에서 하둡에 대해 언급하는 부분은 배포판보다 커넥터다. 하둡에 저장된 데이터를 관계형DB로 끌어오는 것이다. 만약 비정형 데이터라 해도 하드웨어 성능을 높이거나, 인메모리 컴퓨팅 같은 다른 기술을 동원해 처리한다면 DW로도 분석 가능하다. 커넥터의 강조는 언제든, 혹은 얼마든지 하둡을 사용하지 않을 수 있다는 것의 다른 말이다. 한국지사에게 하둡의 지위는 ‘DW를 보완하는 기술 중 하나’로 격하된다.

이는 또한 DW업체 한국지사들이 하둡이란 기술 자체를 제어할 수 없다는 것을 의미한다. 한국지사의 경우 기술 조직이라기보다 영업조직 성격이 강하다. 때문에 한국지사의 기술적 역량이 본사의 수준과 동일하지 않을 뿐더러 매우 부족하다.

업계 관계자는 “미국에서 하둡을 열심히 개발한다고 하더라도, 그 역량이 한국까지 이식되려면 몇 년은 걸린다”라며 “이제 막 한국지사의 역량을 높이기 위한 작업이 첫발을 뗀 수준이고, 본사의 지원에 손을 벌려야 하는 상황”이라고 말했다.

■영업조직인 한국지사, 하둡 기술 내재화는 물음표

지난달까지 DW업체 한국지사의 관계자들은 이구동성으로 하둡은 빅데이터를 구성하는 여러 기술 중 극히 일부에 불과하다고 강조했다.

업계에 따르면, 한국EMC는 마케팅으론 하둡을 언급하면서도, 실제 영업 현장에선 자체 하둡의 첫 버전이었던 ‘그린플럼HD’를 감추는 모습도 연출했다.

그러던 한국EMC가 이달 초 ‘하둡에 올인한다’는 방침을 세웠다. 본사가 피보탈HD란 자체 하둡 배포판을 발표하는 것에 때를 맞춰, 한국 빅데이터시장을 적극 공략하겠다는 방침이다. 지지부진했던 그린플럼의 국내 사업에 분위기 전환을 노린다는 노림수. 과거의 모습은 온데간데 없다. 그린플럼이란 DW 사업을 스스로 잠식하는 기이한 선택을 한 것이다.

이에 대해 한국EMC 측은 국내에 어떤 방식으로 영업을 하고 그 기술을 어떻게 내재화 할지에 대해 고민 중이고 내부 협의 중이라며 피보탈HD는 상호보완적이기 때문에, 그 기술을 잘 내재화하면 큰 이점으로 작용될 수 있다고 판단하고 있다고 공식 입장을 밝혔다.

한국IBM은 하둡의 중요성을 최소한으로 축소했다. 김욱 한국IBM 정보관리사업부장은 “하둡은 파일단위로 저장하는 대용량 저장장치에 불과하며, 아주 기본적인 요소일 뿐이다”라며 “하둡은 DW 고도화의 붐 속에서 아주 적은 비중을 차지한다”라고 밝혔다.

결국 한국 내 DW업체들의 어색한 하둡 끌어안기는 본사에서 시도하는 하둡 내재화 노력이 동일하게 진행되지 않은 것에서 비롯된다. 일단, 영업 및 프리세일즈 조직의 ‘문서를 통한 하둡 지식’은 금방 마련됐다. 그러나 하둡이란 기술이 개발과 운영 경험을 쌓아야 하는 만큼, 기술지원인력의 실전 역량 확보는 제로에 가깝다.

현재 대기업 다수가 빅데이터 도입을 검토중인 것으로 알려진다. 각 기업들은 진행단계인 삼성전자의 빅데이터분석 표준화프로젝트 추이를 지켜보면서, 사업진행 여부를 결정할 태도를 보인다. 본격적인 빅데이터 시장의 개화 조짐에 DW업체들이 조급해질 수밖에 없다.

이에 DW업체 한국지사들은 하둡 전문가 모시기에 혈안이 됐다. 본사에 인력지원을 구걸하는가 하면, 전문가 고용 및 관계형성에 열을 올렸다. 때문에 국내의 유명 하둡 전문업체가 물밑으로 밀려드는 파트너십 제안과 기술 및 인력 빼가기에 당혹스러워했다.

그밖에 하둡의 등장초기 때부터 활동해왔던 개발자 커뮤니티 내 전문가들은 대부분 포털, 통신사, 대기업 등에 포진해있어 인력 모시기는 쉽지 않은 상황이다. 업계는 국내의 역량있는 하둡 인력을 50~100명 수준에 불과할 것으로 추산한다.