오픈데이터플랫폼, 빅데이터시장 흔드나

지난달 중순 글로벌 빅데이터 산업계의 주목을 끄는 발표가 나왔다. 빅데이터 관련 업체들이 한데 모여 오픈데이터플랫폼(ODP) 이니셔티브란 연합체를 출범시킨다는 발표였다.

ODP는 엔터프라이즈에서 쉽게 사용가능한 표준 빅데이터 플랫폼 개발을 목표이자 약속으로 걸었다. 아파치 하둡 기반 배포판이나 애플리케이션을 제공하는 솔루션업체와 통신, 제조 등 사용기업, 빅데이터 IT서비스 제공업체 등이 모였다. ODP가 제대로 운영되면, 호환성과 성능, 안정성, 보안 등을 사전검증한 빅데이터 플랫폼을 기업이 쉽게 도입할 수 있게 된다.

빅데이터 활용을 고민하는 기업 입장에선 꽤 반가운 소식이다. 앞으로 빅데이터 시스템도 상용 패키지SW 사듯 하면 되기 때문이다. 하지만 무작정 반기기도 개운치 않다.

◼︎“한번의 테스트로 바로 사용하는 표준 플랫폼”

ODP 참여업체 면면은 화려하다. 피보탈, 호튼웍스, IBM, SAS, 제너럴일렉트릭(GE), 인터내셔널텔코, EMC, VM웨어, 버라이즌엔터프라이즈솔루션, 캡제미니, 알티스케일, 센추리링크, 스플렁크, 테라데이타 등이다.

연합 주도자는 피보탈과 호튼웍스로 보인다. ODP에 대한 자세한 안내문서는 피보탈과 호튼웍스의 기업블로그에 올라와 있다. 두 회사는 ODP 참가업체 중 하둡 배포판을 제공하는 부류에 속하며 전체 사업의 중추를 맡을 것으로 예상된다.

피보탈의 스콧 야라 사장은 블로그에서 ‘오픈’이란 단어를 19차례나 쓸 정도로 개방성을 강조했다. 피보탈은 자신들의 빅데이터 제품군을 모두 오픈소스 소프트웨어로 공개하겠다고도 밝혔다. 자신들의 하둡 배포판인 ‘그린플럼HD’와 데이터웨어하우스(DW)인 그린플럼DB, SQL온하둡 솔루션인 ‘호크(HAWQ)’ 등이 올해 중 오픈소스로 전환된다.

ODP 연합은 우선 아파치소프트웨어재단(ASF)에서 개발되는 아파치 하둡의 일부요소를 엔터프라이즈 기업에서 쉽게 사용할 수 있도록 검증, 테스트, 정제한다. ODP 공식사이트의 F&Q 문서에 의하면, 하둡분산파일시스템(HDFS), 맵리듀스, 얀(YARN), 암바리 등이 표준화 대상이다. 이는 ODP코어라 불린다.

ODP코어는 ‘입증되고 완성된, 테스트를 마친 레퍼런스 코어’로 묘사된다. 피보탈과 호튼웍스의 하둡 배포판 간 호환성 및 각 배포판에 대한 애플리케이션의 호환성 확보 작업이 이뤄지게 된다. 예를 들면, 호튼웍스의 호튼웍스데이터플랫폼(HDP)에서 하이브 대신 피보탈의 호크를 사용할 수 있다. 다른 ODP 참여회사의 제품에 대한 기술지원 서비스도 제공하게 된다. 피보탈이 HDP 기술지원을 제공하거나, 호튼웍스가 피보탈HD나 호크에 기술지원을 제공할 것이란 설명이다.

ODP가 별도의 제품을 만드는 건 아니다. ODP코어는 제품이 아니며, 판매는 물론 특정 지원서비스도 없다. ODP코어란 SW 구성요소의 한 세트로, 배포판과 내부 애플리케이션을 포함한 솔루션을 구축하기 위해 사용하는 오픈소스 테스트의 세트다. 상호운용성과 호환성을 위한 레퍼런스로써, ODP코어의 사용자는 일반기업체가 아니라 빅데이터 벤더다.

아파치 하둡의 여러 요소에 대한 실제 개발은 ASF의 영역으로 남는다. ODP는 ASF의 노력과 책무를 보충하게 될 것이라고 밝혔다. 코드 기여, 성능테스트, 통합, 인프라 지원, 컨퍼런스 참가, 개발자 커뮤니티와 협업 등이 ASF 지원 형태로 이뤄진다고 한다. ODP코어를 위한 공통의 개발조직과 합의 프로세스도 만들 것으로 예상된다.

◼︎ODP에 드는 의문점

ODP는 벤더 주도 연합체다. 반면, ASF는 개발자 주도로 모든 의사결정을 한다. ASF의 프로세스에 특정 벤더가 사적 의도를 주입해 좌지우지하기 힘든 공화주의적 구조다. 벤더는 ASF에 회사 소속 개발자를 최대한 많이 참여하게 함으로써 여론을 주도하는 식으로 영향력을 행사해야 한다. 사업가인 벤더 입장에선 느리고, 마음대로 조종하기 힘든, 답답하고 성가신 존재다.

HDFS, 맵리듀스, 얀 등을 포함한 아파치 하둡 프로젝트만 해도 활동하는 PMC만 54명이고, 커미터는 87명이다. 의사결정 투표권을 가진 커미터 중 호튼웍스와 피보탈 소속 개발자는 29명이다. 프로젝트를 관리하는 PMC의 경우 피보탈 개발자는 없고, 호튼웍스 소속 개발자가 23명이다. 하둡 업계의 또 다른 한축인 클라우데라 소속 개발자는 PMC에 12명, 커미터에 13명이다.

숫자로 보면 호튼웍스가 다수를 차지해 프로젝트를 지배할 것 같지만, 합의제 형식이기 때문에 호튼웍스가 무소불위의 권력을 휘두르기 힘들다.

ODP 출범 취지는 벤더 영향력을 제한한 ASF의 거버넌스 모델에 대한 비판을 담았다. 개발자 중심으로 자유로운 분위기 속에서 돌아가는 오픈소스 개발 방식이 무궁무진한 성장가능성을 갖지만, 전체 생태계가 일사분란하게 움직이지 않는 탓에 분열되거나 더뎌지기 쉽고, 요소 간 호환성도 검증되지 않는다는 것이다.

피보탈 스콧 야라 사장은 “엔터프라이즈 수요에 특별하게 초점을 맞춘 리딩벤더, 서비스프로바이더, 아파치 하둡 사용자 등의 개방적인 합류에 의해 분열을 줄이고, 하둡 생태계를 가로질러 개발과 혁신을 가속해야 한다”고 설명했다.

피보탈의 하둡 생태계에 대한 영향력을 보면, ASF 내 피보탈의 영향력은 미미하다. 존재감을 확보하지 못한 아파치 생태계 대신 별도의 연합체를 만들고 별개의 시장을 형성함으로써 영향력을 확보하려는 노림수를 의심할 수 있다.

ODP가 진정한 개방성을 가졌는지 현재로선 판단하기 어렵다. 피보탈은 오픈소스 PaaS 플랫폼인 클라우드파운드리(FC)의 성공을 거론하며, ODP도 개방성을 통해 성공할 거라 공언했다. 그러나 FC는 2011년 만들어진 이후 작년까지 피보탈과 VM웨어에 의해 독점적으로 개발됐다. 클라우드파운드리재단은 아직 출범 준비단계다.

특정 벤더에 의해 운영되는 오픈소스의 경우 소스 코드 활용은 자유롭지만, SW자체에 대한 기능 추가, 개선, 버그 수정 등이 폐쇄적으로 이뤄진다.

ODP는 “ASF의 프로세스를 대체하지 않을 것이며, 보완적 역할을 수행하겠다”고 밝혔다. 향후 두 조직 간의 협력을 기대한다고 강조하며 ASF와 조율한 행보임을 피력했다. 그런데 ODP 발표 후 보름 간 ASF는 대외적으로 그 어떤 입장도 밝히지 않았다. ODP와 ASF는 전혀 별개로 움직이고 있는 것이다.

ODP 참여회사 가운데 가장 많은 사용자를 보유한 하둡 배포판 공급사 ‘클라우데라’는 빠졌다. 클라우데라하둡배포판(CDH)은 전세계 하둡 사용자의 90%를 차지했다. 아니나 다를까. 클라우데라의 최고경영자(CEO)인 마이크 올슨이 ODP 출범선언 당일 자사 블로그에 왜 ODP에 참여하지 않았는지 이유를 밝혔다.

마이크 올슨은 “나는 벤더 주도적인 업계 컨소시엄에 대한 엔지니어적 경멸을 갖고 있다”며 “이런 조직체는 너무나 빈번하게 증진 대신, 기술업계의 혁신 속도 저하를 노린다”고 직격탄을 날렸다.

그는 ODP를 오픈소프트웨어재단(OSF)에 비유했다. 벤더들이 모여 개발자 주도적인 오픈소스재단의 시장장악을 막으려 한다는 게 같다는 주장이다. OSF는 IBM, HP, 디지털이큅먼트코퍼레이션(DEC) 등 유닉스 벤더들으로 구성됐다. AT&T와 썬마이크로시스템즈의 병합 유닉스 시스템에 대항하기 위해 만들어졌다.

그는 “오래전 OSF 연맹의 참가자는 OS의 다양화를 방어하기 위해 모인 레거시 유닉스를 가진 레거시 벤더들이었다”며 “그들은 1988년 버클리소프트웨어 배포판에 기반한 유닉스 무료 버전의 증식이란 위협에 직면했으며, 유닉스 무료 버전 진영은 OSF에 참여하지 않고, 리눅스에 통합돼 혁신을 이뤄 상용 유닉스 시장을 무너뜨렸다”고 설명했다.

다음으로 피보탈과 ODP의 의도를 비판했다. 그는 “피보탈과 호튼웍스는 (ODP가) 아파치 하둡 생태계를 표준화하라는 업계의 갈망에 의해 주도된다고 주장한다”며 “나는 그들을 믿지 않는다”고 밝혔다.

만약 엔터프라이즈 업계의 갈망이 사실이라면 대규모의 ISV가 모이고, 고객이 그를 이끄는 그림이어야 한다. 그런데 ODP는 사실상 피보탈이 중심이며 의사결정권자란 것이다.

그는 “세계 하둡 커뮤니티는 책임감있게 지배 책무를 나누며, 다양한 벤더에서 나오는 핵심 하둡 요소 사이에서 근본적인 비호환성은 없다”고 호환성에 대한 비판에 반박했다. 하둡 벤더별 배포판 사이의 이질성은 리눅스 배포판처럼 당연한 것이고, 각자의 기준과 능력껏 오픈소스 본체의 부족한 부분을 메우고 있다고 강조했다.

마이크 올슨은 커뮤니티에 방점을 찍었다. 누구나 커뮤니티에 참여할 수 있다는 점이다. 커뮤니티 멤버십 가격이 창조성과 재능, 그리고 기꺼이 코드를 제공하는 것이라 비유했다.

그는 “피보탈과 호튼웍스 연합은 오픈소스 모델과 아파치의 방법에 역행한다”며 “ASF는 벤더에게 열려있지만, ODP는 모두에게 열려있지 않다. 벤더 주도적인 컨소시엄으로서 ODP의 멤버십은 막대한 돈을 가진 엔터프라이즈에 한정된다”고 비판했다.

그리고 “ODP는 ‘Only Dollars Play’로 불려야 했다”며 “가입 비용은 하둡 표준을 진짜로 주도하는 개인 엔지니어 같은 사람들, 코드를 만드는 사람들의 재력을 뛰어넘는다”고 꼬집었다.

그는 따로 판을 짜지 말고 ASF란 커뮤니티에 대한 지원이나 늘리라는 언급도 했다. 그러면서 “피보탈은 하둡 생태계와 ASF에서 성실한 참여자에서 뚜렷하게 한발 물러섰다”며 “ODP는 그 회사가 플랫폼에 활발한 기여없이 계속해서 영향력을 미치게 허용한다”고 비판했다.

그는 이 문장에 피보탈이 빅데이터사업부 직원 60명을 감원했다는 언론기사를 링크했다. 피보탈이 해고한 빅데이터 사업부 직원 상당수가 ASF 참여 개발자였다고 한다.

그는 “ODP도 흐름을 역행하는 마케팅 노력에 불과하다는 게 곧 드러날 것”이라 주장했다. 이어 “오픈소스 커뮤니티에 깊이 관여하는 동료를 고용한 호튼웍스의 ODP 참여는 실수다”라며 “오픈소스의 작동 방식를 이해하지 못하는 최고입찰자에게 그들의 영향력을 제공하려는 모습에 실망했다”고 밝혔다.

■욕망의 충돌, 결국은 진영 싸움

ODP든 클라우데라든 결국 현재 빅데이터 기술업계에서 벌어지는 모습은 진영 간 싸움이다.

ODP는 개발자를 제쳐놓고 자신만의 시장을 형성하려는 노림수를 갖고 있다. 동시에 클라우데라를 엔터프라이즈 시장에서 고립시키려 한다. ODP가 큰 성공을 이뤄 시장을 장악하게 되면, 클라우데라도 어쩔 수 없이 ODP에 합류하는 모습도 그리는 지 모른다.

속된 말로 “내가 다 갖지 못한다면, 파이를 잘게 쪼개서 당신도 다 갖지 못하게 하겠다”는 전략이다.

클라우데라는 하둡 기술업계 1위 회사로 꼽힌다. 1위 사업자의 시장 독점 욕구는 일견 당연하다. 만약 클라우데라가 ODP에 참여하게 되면, 클라우데라는 시장의 일부만 차지하는 걸로 만족해야 할 것이다. ODP란 새 판을 달가워할 리 없다. 결국 ODP에 대한 클라우데라의 현 입장은 사업적 전략을 고려한 역마케팅 성격도 강하게 담았다고 볼 수 있다.

클라우데라 마이크 올슨은 피보탈과 호튼웍스에게 ASF 지원이나 더 늘리라고 훈수했다. 그런데 ODP가 출범을 알렸던 17일 당일, 클라우데라는 ASF의 플래티넘 스폰서로 새로 등록했다고 발표했다. 시점이 묘하다.

호튼웍스의 ODP 참여도 사업적 속셈으로 보인다. 어느 배포판에서든 자유롭게 다양한 분석 엔진과 애플리케이션을 쓸 수 있다는 ODP의 주장은 HDP에서 피보탈 호크를 쓰는 경우에야 유효하다. 호튼웍스는 상장 과정에서 수많은 분석 엔진 제공업체와 기술에 대한 호환성 인증을 발행했다. 호튼웍스 홈페이지 블로그엔 수시로 새로운 호환성 인증 발표가 올라온다. 또, 호튼웍스는 한때 피보탈의 수준을 평가절하하며 쏘아붙이기도 했다.(☞관련기사)

2013년 하둡 2.0 공개 이후 빅데이터 기술 생태계는 급변하고 있다. 하둡 생태계는 전보다 훨씬 더 빠르게 커졌고, 하이브나 HBASE 같은 기존 아파치 프로젝트는 1.0버전을 선언하면서 엔터프라이즈 공략과 이익실현에 나서고 있다. 하둡과 빅데이터의 엔터프라이즈 시장 진입은 이제 막 시작 단계에 접어들었다. 동시에 아직 생태계가 엔터프라이즈 시장에 곧바로 적용될 만큼 완벽히 성숙하지도 않았다. 하둡은 미완성이며, 빅데이터 활용 방안도 여전히 연구대상이다.

시장이 막 만들어지려는 혼란기, 블루오션을 장악하려는 욕망의 충돌이 보인다. 이럴 때일수록 벤더의 마케팅을 면밀히 살펴볼 필요가 있다.