MS, 애저 빅데이터 마이닝 서비스 출시?

마이크로소프트(MS)가 내부사용을 위한 빅데이터 서비스를 애저에 올렸다. 향후 MS의 빅데이터 마이닝 서비스가 애저를 통해 외부 사용자에게도 제공될 전망이다.

27일(현지시간) 미국 지디넷에 따르면, MS는 마이크로소프트 애저에 내부 직원의 데이터 분석을 위한 스토리지와 연산 서비스 '코스모스(Cosmos)'를 운영중이다. 향후 이 코스모스를 외부에 상용화한다는 계획이다.

코스모스는 MS 직원을 위한 IT서비스로, 대용량 병렬 스토리지와 컴퓨팅 파워를 제공한다. 애저, 빙, 애드센터, MSN, 스카이프, 윈도라이브 등에서 나오는 데이터를 관리하고 분석할 수 있게 한다. 현재 5천명의 MS 내 개발자가 코스모스를 사용중인 것으로 확인됐다.

코스모스는 과거 MS의 분산프로세싱기술인 드라이어드(Dryad)를 사용했다. MS는 2011년 하둡으로 전환하기 위해 상용 드라이어드 제공계획을 취소했지만, 회사 내부에서 계속 드라이어드를 사용하고 있다.

코스모스는 빙 분석과 적합률(relevance)을 위한 백본을 제공한다. 내부적으로 각 팀들이 개발, 제품 및 서비스 평가에 사용하는 모든 종류의 맞춤화된 데이터세트를 생성하는데 활용된다.

MS가 코스모스를 현재 내부 분석용으로 사용중이지만, 언제든 외부 상용 서비스로 내놓을 수 있다. 현재 MS의 빅데이터 분석 관련 서비스로 하둡 인프라를 제공하는 'HD인사이트'가 있다.

MS는 코스모스를 구조화된 데이터, 소셜네트워크 업데이트, 지리/지도 데이터, 웨에서 수집된 시맨틱 데이터 등 엑사바이트급 규모를 저장하고 처리하도록 확대한다는 계획이다.

MS 코스모스팀의 채용공고는 우리 팀은 매일 수페타바이트의 데이터를 읽고 쓰는 수천건의 연산을 수행한다며 외부 서비스를 위해 막 개발을 시작했고, 수십억달러를 벌 잠재력을 가진 제품에서 일해 매우 흥분돼 있다고 밝혔다.

이 공고에 의하면, MS 클라우드&엔터프라이즈 사업부 내 빅데이터툴링팀은 개발자경험과 툴을 코스모스와 HD인사이트 양쪽 모두에 구축하고 있다. 빅데이터를 위한 엔드투엔드 사용자경험을 소유했다고 볼 수 있다.

랑가 렌자라얀 MS 데이터플랫폼팀 기업부사장(CVP)은 코스모스는 현재 MS만 사용하고 있지만, 고객의 수요를 계속 주시하고 있다고 밝혔다.

MS 내부의 빅데이터 마이닝 조직이 코스모스팀만 있는 건 아니다. 애플리케이션&서비스그룹(ASG)은 셰어드데이터플랫폼팀이 대표적이다.

셰어드데이터플랫폼팀은 MS 엔지니어를 위한 호스팅 서비스 세트를 만들고 있다. 이는 데이터 중심 애플리케이션을 만들고 배포하는데 활용된다. 서비스와 툴들은 공통의 메타데이터 카탈로그, 웹 및 비주얼스튜디오 제작툴, 데이터 시각화, 데이터 무브먼트, SQL 패브릭 매니지먼트, 데이터 차원 프로세싱, 엑셀을 통한 최종사용자 접근용 UI 등이다.