하둡의 아버지 “코어 하둡의 대체재? 상관없다”

“하둡 코어인 하둡분산파일시스템(HDFS), 얀(YARN), 맵리듀스는 모두 각기 경쟁자를 갖고 있다. 최초의 하둡 코어 3개가 더 이상 쓰이지 않는다해도 하둡이란 이름은 영원히 남을 것이다. 콤포넌트가 대체되더라도 실패 아니다.”

하둡 창시자인 더그 커팅 클라우데라 최고아키텍트는 14일 방한해 가진 기자간담회에서 이같이 말했다.

그는 점차 하둡의 코어 요소인 HDFS, 얀, 맵리듀스 등을 위협하는 대체재의 등장에 대해 환영한다는 뜻을 밝혔다. 현재 파일시스템인 HDFS는 쿠두와, 리소스 스케줄러인 얀은 메소스와, 맵리듀스는 스파크와 경쟁하고 있다.

그는 하둡의 기본 설계 철학인 모듈러 아키텍처에 큰 의미를 부여했다.

그는 “하둡은 일반적인 운영체제보다 더 모듈화된 설계를 갖는다”며 “코어 요소 세개가 대체된다는 건 모듈 방식 오픈소스가 성공적이었다는 걸 뜻한다”며 “모듈 아키텍처를 진전시키는데 기여했기에 더 성공이라 생각한다”고 설명했다.

2000년대 초반 더그 커팅은 웹검색 프로젝트인 넛치를 개발하던 중 구글에서 발표된 구글파일시스템(GFS) 논문을 접했다. 구글의 논문을 오픈소스 기술로 구현한 하둡이 2006년 세상에 첫선을 보이게 된다.

그는 “하둡은 저렴한 하드웨어로 전보다 더 방대한 양의 데이터를 많은 사람이 활용할 수 있게 했다”며 “개인적으로 트위터, 링크드인 같은 웹서비스에 적용된 게 끝이라고 생각했는데, 엔터프라이즈에도 적용 가능하다고 판단한 사람들이 클라우데라를 창업했다”고 말했다.

그는 이어 “나는 2008년 당시만해도 엔터프라이즈가 오픈소스를 쓸거라 생각하지 않아 클라우데라 합류를 거절했다”며 “그러나 1년 뒤인 2009년 클라우데라에 합류했고, 엔터프라이즈도 하둡 기술을 도입할 준비가 돼 있다는 창업자들의 비전이 옳았다는 걸 느꼈다”고 덧붙였다.

하둡은 2011년 2.0 버전 공개 이후 큰 변화를 겪고 있다. HDFS와 맵리듀스를 반드시 사용해야 했던 것에서, 사용자가 각 요소를 다른 대체기술로 바꿀 수 있게 된 것이다. 수많은 하둡 생태계 프로젝트는 맵리듀스 대신 스파크, 타조 같은 새로운 데이터처리엔진을 쓸 수 있게 지원한다. 파일시스템도 굳이 HDFS를 쓰지 않고 또다른 분산파일시스템을 택해도 된다. 이에 하둡 코어가 사라지는 것 아니냐는 전망도 나오는 상황이다.

더그 커팅의 발언은 이 같은 상황에 대한 언급이다. 오늘날 나오는 새로운 대체 기술은 향후에도 하둡 생태계에서 살아갈 것이란 의미로 읽힌다. 이같은 의미에서 그는 기업에서 빅데이터를 고려할 때 당연히 하둡에서 시작하게 됐다는 점을 강조한다.

그는 ‘하둡과 클라우데라는 트렌드’라고 밝혔다. 모든 기업이 디지털 중심으로 변모하는 가운데 하둡과 빅데이터를 당연하게 쓴다는 얘기다.

그는 “비즈니스를 디지털로 전환하는 작업이 업계를 불문하고 광범위하게 퍼졌다”며 “뱅킹, 보험, 헬스케어, 제조, 리테일, 정부, 농업 등 어디서나 비즈니스에서 데이터가 중심을 이루고 있다”고 강조했다.

그는 하둡의 빠른 진화 속도도 언급했다.

그는 “SQL, 머신러닝, 스트리밍 애널리틱스 등 다양한 기능으로 확장되고 있다”며 “하둡은 아주 빠르게 진화하고 있어서, 매년 플랫폼이 근본적인 변화를 겪으면서 이전보다 더 빠르게 변화하고 있다”고 말했다.

이미 트렌드를 이룬 하둡, 그리고 그 하둡이 변화를 멈추지 않는다는 점에서 하둡의 생명력에 자신감을 보인 것이다.

그는 “비즈니스에선 지속적으로 데이터로 더 많은 가치를 창출할 것이고, 오픈소스 기술 플랫폼도 계속 진화를 거듭해 비즈니스에 더 많은 가치 제공할 것”이라며 “비즈니스와 오픈소스가 서로 도움을 주는 선순환구조가 만들어져, IT업계에 전례없는 좋은 시기를 겪고 있다”고 말했다.

그는 인텔과 협력에 대해서도 긍정적인 발언을 내놨다. 작년 인텔에서 선보인 ‘3D 크로스포인트’ 기술도 언급했다.

그는 “인텔과 협업 프로젝트를 진행함으로써 하둡의 소프트웨어 스택이 인텔 등의 CPU 하드웨어에서 더 많은 혜택을 받게 되고 있다”며 “암호화 최적화의 경우 인텔의 지원을 통해 하둡 데이터 전체 암호화에도 1~2% 수준의 성능저하만 나타나게 됐다”고 설명했다.

이어 “인텔 3D크로스포인트는 D램만큼 빠르면서 SSD만큼 저렴한 새로운 저장매체 기술”이라며 “인메모리 처리가 가능하고, 액세스 속도도 높아지며, IO처리와 연산 속도도 높아지므로 다양한 데이터에서 혜택을 볼 것이라 생각한다”고 덧붙였다.

3D크로스포인트는 인텔에서 선보인 새로운 비휘발성 메모리 기술로 스토리지와 시스템 메모리 양쪽에서 모두 쓰일 수 있다. 현존 기술보다 더 많은 용량을 더 빠르게 저장, 처리하면서, 수명은 낸드플래시보다 길다. 클라우데라는 자체 분산파일시스템인 쿠두를 인텔 3D크로스포인트에 최적화되게 설계했다.

더그 커팅은 현재 프로그래밍에서 손을 뗀 상태다. 현재의 관심사는 개발자의 윤리라고 밝혔다.