유닉스 서버로 빅데이터를 한다고?

유닉스 서버로 빅데이터 시스템을 구축하라는 IBM의 마케팅이 업계 빈축을 사고 있다. 벤더 종속을 부추기고, 빅데이터의 소프트웨어 측면을 왜곡하는 행보란 지적이다.

이달초 IBM은 파워7+프로세서를 탑재한 유닉스 서버 신제품을 출시했다. 중견기업을 겨냥한 미드레인지급 서버와 하이엔드급 서버, 리눅스 운영체제(OS)를 탑재한 파워리눅스 등이다. IBM은 코어당 성능을 내세워 파워칩 기반 서버가 x86 시스템보다 빅데이터에 최적화됐다고 강조했다.

한국IBM 시스템테크놀로지그룹(STG) 파워시스템사업부의 허욱 차장은 “파워7+ 프로세서는 전모델 대비 2.5배 많은 캐시메모리와 증가된 입출력(I/O) 대역폭을 갖고 있어 x86 서버보다 빅데이터 처리성능에서 앞선다”고 설명했다.

파워시스템의 검증된 안정성과 코어당 처리성능을 감안하면 빅데이터 시스템의 총소유비용(TCO)에서 x86 환경보다 앞선다는 설명이다. 허 차장은 “리눅스를 탑재한 파워리눅스 제품군의 경우 x86 기반 시스템보다 가격 측면에서도 크게 비싸지 않다”고 강조했다.

■유닉스는 빅데이터 ROI를 맞출 수 없다

파워7+ 프로세서는 지난해 10월 IBM이 내놓은 칩셋이다. 파워7+는 IBM의 유닉스 OS인 AIX와 리눅스를 사용할 수 있다. 통상적으로 파워 칩셋을 탑재한 서버는 x86서버에 비해 10배 가량 비싸다.

국내 빅데이터 전문가들은 IBM의 주장을 일축했다. IBM의 주장대로 빅데이터 시스템을 구축하는 건 무의미한 시도라고 입을 모았다.

빅데이터는 데이터에 내재된 가치를 밑바닥에서부터 찾아내려는 새로운 접근을 일컫는다. 고가의 데이터웨어하우스(DW)를 이용하지 않고, DW로 엄두도 못냈던 데이터를 분석하려는 시도다.

빅데이터를 분석하기 위한 시스템을 구축할 때 반드시 거쳐야 하는 과정은 투자대비수익률(ROI) 검토다. 빅데이터는 무에서 유를 만들어내는 것이기 때문에 시작단계에서 그 어떤 성과도 보장하지 않는다. 때문에 시스템 구축 시 과도한 투자보다 소규모 저비용 투자를 해야 안전하다.

빅데이터를 가능케 한 기술은 하둡이다. 하둡은 저가의 하드웨어를 다수 사용해 데이터를 분산저장하는 오픈소스 기술이다. 하둡파일시스템(HDFS)과 맵리듀스란 기본적인 구성에 수많은 구성요소가 더해져 하둡이란 거대한 생태계를 형성했다.

하둡의 가장 큰 경쟁력은 저비용 구조다. 과거보다 훨씬 적은 투자로 많은 양의 데이터를 저장하고 분석한다는 기본 전제를 갖고 있다. 때문에 투자대비수익률(ROI) 검토 시 시스템 구매비용은 낮을수록 좋다.

유닉스 서버를 이용한 하둡 환경은 이런 장점을 스스로 희석하는 결과를 낳는다. 만약 IBM 파워시스템 서버로 빅데이터 처리환경을 구축하게 되면 초기 비용 대부분을 하드웨어에 투입해야 한다.

■빅데이터 시스템 운영비용은 줄지 않는다

TCO 관점에 대한 부분도 미국과 달리 하둡 같은 오픈소스 빅데이터 요소기술 역량을 갖추지 못한 한국에선 설득력을 잃는다.

빅데이터 시스템은 오픈소스를 기반으로 하므로 안정화 단계까지 장애발생을 감안하고 구축해야 한다. 시스템 구축보다 관리와 운영에 더 많이 집중해야 하는 것이다. 하둡의 경우 다양한 경로에서 데이터를 수집하면서 예측하기 힘든 장애를 일으키게 되는데, 이를 정상화하려면 내부에 적정 수준 이상의 역량을 가진 인력을 운영하거나, 전문업체로부터 유지보수 서비스를 받아야 한다.

한국IBM 내부에 하둡 관련 유지보수 인력과 서비스는 없다. 한국IBM의 채널사 가운데 빅데이터 시스템 운영전문업체도 없다. 미국 클라우데라나 호튼웍스가 IBM본사와 공동으로 빅데이터 사업을 하고 있긴 하다. 클라우데라나 호튼웍스 소속 엔지니어가 한국에 상주하는 것도 아니다.

결국 IBM 파워시스템으로 빅데이터 환경을 구축한 국내 기업은 미국의 빅데이터 전문회사의 값비싼 유지보수 서비스를 구입해야 한다. 이 비용을 절감하려면 기업 내부의 운영인력을 늘리는 게 상책이다.

■“빅데이터의 벤더종속만 초래할 뿐”

IBM의 주장이 완전히 허구는 아니다. 실제로 국내 모은행이 NoSQL 환경에 유닉스 서버를 사용한 사례가 있다. 그러나 이는 빅데이터 시스템이 하드웨어 문제보다 소프트웨어 문제기 때문에 가능한 일이다.

국내의 한 전문가는 “유닉스 서버로 빅데이터 시스템을 구축하는 게 불가능한 건 아니지만 그럴 바엔 차라리 슈퍼컴퓨터와 DW를 사고, 빅데이터는 시도하지 않는 게 나을 것”이라고 말했다.

파워 프로세서가 갖는 기본적인 폐쇄성도 문제다. IBM이 독자 개발하고, IBM에서만 사용하는 파워 프로세서는 하드웨어 간 호환성이 없다. IBM의 파워시스템과 HP의 슈퍼돔, 오라클의 썬 T시리즈를 빅데이터 시스템 속에서 혼용하는 게 불가능하다. x86서버와 호환불가는 당연하다. 가상화 역시 IBM의 파워시스템끼리만 가능하다

빅데이터는 DW, ERP, CRM뿐 아니라, 외부의 소셜네트워크서비스(SNS), 네트워크 장비의 접속기록, 웹로그 등 곳곳에서 데이터를 끌어모아 분석하게 된다. 각 솔루션별 데이터를 한 그릇에 담는 셈이다.

만약 처음 빅데이터 분석을 시도할 때 CRM, DW 데이터만 처리하기로 했다고 하더라도, 차후 또 다른 시도를 할 수 있다. 이때 빅데이터 시스템의 규모를 늘리게 된다. x86서버는 기본적으로 개방형이므로 하드웨어는 제조업체에 상관없이 확장할 수 있다.

이런 유연함을 가지려면 빅데이터 플랫폼은 하드웨어와 소프트웨어 모두 어떤 특정 벤더에도 종속되지 않아야 한다.

국내 서버업체 관계자는 “특정 목적에 한해 사용한다면 파워시스템을 사용하는 게 나을 수는 있다”라며 “만약 파워시스템으로 빅데이터 환경을 꾸렸다면 그 기업은 해당 시스템을 폐기하기 전까지 오로지 파워시스템만으로 확장해야 한다”라고 말했다.