윈도 애저 클라우드 분석SW '데이토나' 등장

윈도 애저 클라우드를 위한 대용량 데이터 분석 처리 기술이 등장했다. 마이크로소프트(MS)가 윈도 애저 환경에서 분산 처리를 지원하는 맵리듀스 런타임 '프로젝트 데이토나'를 내놨다.

미국 지디넷은 지난 15일 MS가 클라우드 분석 기술의 일부분으로 익스트림 컴퓨팅 그룹(XCG)이 개발한 프로젝트 데이토나의 첫 버전을 내려받을 수 있게 공개했다고 보도했다. 이로써 배포되는 데이토나 1.0 버전은 비상업적 용도로만 쓸 수 있는 라이선스에 기반한다.

MS는 데이토나가 '윈도 애저용 맵리듀스 런타임'이라고 밝혔다. 맵리듀스는 컴퓨터 여러대를 묶어 만든 분산컴퓨팅 환경에서 거대한 데이터 덩어리를 다룰 때 쓰는 프레임워크의 일종이다. 회사 관계자는 MS 연구소 웹사이트에 데이토나 런타임 다운로드를 제공하면서 이는 다중 애저 가상 머신(VM)에 걸쳐 돌아가는 '맵'과 '리듀스' 작업을 구현하고 조정해 준다고 설명했다.

맵(map)은 분산 환경에서 주컴퓨터가 입력받은 작업을 잘게 쪼갠 뒤 각 단말에 나눠 주고, 이를 받은 컴퓨터들은 작업 결과를 주컴퓨터에 되돌려 보내는 단계를 가리킨다. 이후 주컴퓨터는 이 잘게 쪼개진 결과값들을 수렴하는 리듀스(reduce) 단계를 수행한다.

다시말해 데이토나는 맵과 리듀스 기능을 수행하며 윈도 애저 환경에서 흩어진 데이터를 분석하거나 기간시스템 서버 수백대 규모로 확장할 수 있는 기계학습 알고리즘을 지원한다는 설명이다.

지디넷 블로거 마리 조 폴리는 데이토나 개념도 내용을 보면 맵리듀스와 데이토나 조합은 윈도 애저에 내장될 연산, 스토리지 서비스를 만들 때 쓰일 것이라고 내다봤다.

사실 '맵리듀스(MapReduce)'는 구글이 분산 클러스터 환경에서 대규모 데이터를 다루기 위한 프로그래밍 모델이자 프레임워크로 만들었던 것이다. MS도 이와 비슷한 '드라이어드(Dryad)'란 기술을 직접 개발해왔다.

드라이어드는 현재 '링크투HPC(LINQ to HPC)'라는 공식명칭으로 불린다. 이는 예를 들어 비주얼스튜디오 개발툴과 링크 프로그래밍 모델을 쓰는 개발자들이 HPC서버 2008 R2 클러스터같은 시스템에서 데이터를 많이 다루는 애플리케이션을 만들 때 쓰인다. MS는 이달 중순 링크투HPC 베타2 버전을 내놓았으며, 향후 윈도HPC서버 2008 R2 서비스팩(SP)2에 링크투HPC를 탑재할 계획이라고 밝혔다.

조 폴리는 MS는 링크투HPC를 클라우드 전략의 반석으로 보고 있다며 MS의 장기 목표는 자사 클라우드를 슈퍼컴퓨터로 만들려는 것이라고 지적했다.