MS, 내부용으로 쓰던 빅데이터 서비스 공개

마이크로소프트(MS)가 내부에서 사용해온 빅데이터 서비스를 애저를 통해 외부에 공개한다.

25일(현지시간) 미국 지디넷에 따르면, MS는 회사 내부에서 사용해온 빅데이터 서비스인 ‘코스모스(Cosmos)’를 애저의 유료 서비스 상품으로 내놓을 예정이다.

코스모스는 빅데이터 연산, 분석, 스토리지 등의 서비스로 이뤄진 사내 IT서비스다. 애저, 빙, 애드센터, MSN, 스카이프, 윈도라이브 등에서 나오는 데이터를 관리하고 분석할 수 있게 한다. 현재 MS 내부에서 5천명의 개발자와 수천명의 사용자가 코스모스를 사용중인 것으로 알려졌다.

MS는 코스모스의 외부 서비스화를 위해 핵심 요소에 대한 테스트 개발자를 모집하고 있다. 핵심요소엔 코드명 ‘코나(Kona)’로 알려진 분석엔진과, 코드명 ‘카보(Cabo)’로 알려진 스토리지 엔진 등을 포함한다. 또한, 새로운 SQL 친화적 언어 ‘SQL-IP’란 언어를 제공한다.

코스모스는 데이터 분산처리에 하둡 대신 ‘드라이어드(Dryad)’란 기술을 사용한다.

MS는 코스모스를 내부적으로 원격계측(telemetry) 데이터를 처리하는데 사용해왔다. 빙과 오피스365에서 생성되는 대규모 데이터세트를 분석, 보고하고 다양한 종류의 데이터를 백엔드 처리하는 보조 역할을 한다. 여러 목적으로 사용되는 수많은 데이터는 공유된다. 이 데이터에 대한 쿼리는 1대부터 4만대의 머신까지 병렬로 어디서든 작동한다.

MS는 코스모스의 공개서비스 버전을 애저 하둡서비스인 HD인사이트의 보완재로 설정했다. 사용자는 동일한 데이터세트에서 HD인사이트나 SQL-IP 중 하나를 선택할 수 있다.

SQL-IP는 SQL, C#, 닷넷 등을 혼합한 것이다. 비주얼스튜디오 플러그인으로 SQL-IP를 지원하게 된다.

SQL-IP는 MS에서 개발한 쿼리언어인 스코프(SCOPE) 언어의 혁신판이다. 스코프는 코스모스의 병렬 쿼리를 위한 언어로, 단일머신에서 분산/병렬 쿼리를 처리하도록 개발됐다.

코스모스엔 ‘플랫데이터센터스토리지(FDS)’란 저장기술이 포함된다. FDS는 고성능, 폴트톨로런트, 대규모, 지리적으로 상관없는 blob 스토어 등이 특징이다. MS는 사용자 연산 처리량을 기준으로 코스모스 서비스 사용 요금을 부과할 계획이다. 정확한 코스모스 서비스의 공개시점은 아직 알려지지 않았다.