새기술 속속 등장...진화하는 하둡 생태계

최근 아파치소프트웨어재단은 아틀라스, 파케이 등의 프로젝트 새 버전 출시를 알렸다. 그리고 하둡 생태계 형성 초기, 클라우드 기반 하둡을 위해 만들어졌던 프로젝트는 공식 은퇴 조치됐다.

17일(현지시간) 미국 지디넷에 따르면, 아파치소프트웨어재단(ASF)은 인큐베이터 프로젝트인 ‘아틀라스(Atlas)’의 0.5 버전을 발표했다. 비슷한 시기 HDFS용 컬럼스토어 파일 포맷인 ‘아파치 파케이(Parquet)’의 새 버전도 공개됐다.

아틀라스는 호튼웍스의 데이터거버넌스이니셔티브(DGI)에서 핵심 프로젝트다. 하둡을 위한 데이터 거버넌스 및 메타데이터 프레임워크로 만들어지고 있다.

새로 공개된 0.5버전은 마이너 수정만 포함한다. 하지만, 호튼웍스가 DGI를 발표한 건 올해 1월말이었다. 반년만에 0.5 버전으로 끌어올린 것에서 나타나듯 엔터프라이즈급 기술을 목표로 빠르게 만들어지고 있다는 점을 알 수 있다.

아틀라스의 기술 설명에 의하면, 아틀라스는 하둡에 대해 엔터프라이즈에서 요구하는 컴플라이언스를 효율적으로 충족키기고, 엔터프라이즈 데이터의 전체 에코시스템을 통합하게 해주는 기술이다.

메타데이터와 마스터데이터관리, 교차스택 보안과 데이터 혈통 등은 지난 2년 사이 매우 민감한 문제로 거론되고 있다. 초기 하둡의 경우 엔터프라이즈 기업이 다루기 어렵다는 이미지가 있었다. 하지만 주류 기술 단계로 막 접어들면서, 클러스터 관리와 성능에 대한 난해함보다 기업 내 기준정보와 보안을 관리하기 까다롭다는 인식을 준다.

아틀라스는 하둡이 엔터프라이즈 미션크리티컬 시장 주류로 깊숙이 편입하기 위해 필요한 기술로 묘사된다. 아틀라스가 데이터 관리를 위해 필요한 기술이라면, 파케이는 하둡의 성능을 끌어오기 위한 주요 기술로 꼽힌다.

파케이는 HDFS의 데이터를 컬럼 기반으로 저장하는 파일 포맷이다. 파케이를 통해 하둡 개별 노드의 처리성능은 물론, 전체 클러스터의 쿼리 성능을 대폭 끌어올릴 수 있다. 하둡의 쿼리 분석 성능을 고가의 DW 수준으로 끌어올리는데 중요한 부분을 차지한다. 클라우데라가 주도해서 개발해왔고, 컬럼 기반 데이터처리 엔진인 클라우데라 임팔라, 아파치 하이브 같은 하둡 DW 기술에 활용되기 위해 만들어졌다.

클라우데라와 함께 트위터가 핵심 기여자이며, 아파치 타조, 드릴, 스파크 등도 지원하는 등 관련업계에서 가장 중요한 표준으로 성장하고 있다. 새로 공개된 건 파케이파일과 함께 작동하는 자바라이브러리 세트인 파케이MR 1.80버전이다. 파케이 파일에 오염을 야기하는 버그들을 수정한 것이다. 프로젝트팀은 제기되는 버그를 빠르게 해결하는 모습을 보이고 있다.

이에 비해 하둡 클러스터를 클라우드 서비스로 활용하도록 해주는 아파치의 오픈소스가 공식적으로 폐기됐다. 이 기술의 이름은 ‘워(Whirr)’다. 하둡은 원래 구축형 소프트웨어로 설계됐기 때문에, 생태계 초기 클라우드 서비스로 만들기 위한 시도가 이어졌다. 비전문가의 하둡 클러스터 관리 복잡성이 IT산업계 전반에서 제기되자, 손쉽게 하둡을 이용하게 하자는 취지로 시작된 것이다.