MS, 삼성 손잡고 혼합현실(MR) 확산 가속

SOSCON서 SW툴·앱장터 등 소개…"한국 기업과 협력 시작"

IT거인 마이크로소프트(MS)가 국내 소프트웨어(SW) 개발자를 대상으로 융합현실, 또는 혼합현실(Mixed Reality, 이하 'MR') 확산에 나섰다. 삼성전자가 만든 차세대 MR 기기 실물도 살짝 공개됐다.

지난 25일부터 26일까지 서울 서초구의 삼성전자 R&D캠퍼스에서 '삼성오픈소스컨퍼런스(SOSCON)2017'이란 이름으로, 오픈소스SW를 주제로 한 삼성전자의 개발자 컨퍼런스가 진행됐다.

한국MS 테크에반젤리스트 김영욱 부장은 행사 2일차 오전 '처음 시작하는 Microsoft 홀로렌즈와 MR(Mixed Reality) 시연과 개발'이라는 주제 강연을 통해 MS가 바라보는 MR 기술 동향과, MR 앱 개발자 영입을 위한 MS와 협력사의 준비 현황을 제시했다.

강연은 용어정리로 시작됐다. 앞서 현실에 디지털을 접목해 몰입감을 높여주는 기술로 가상현실(VR)과 증강현실(AR)이란 용어가 쓰이고 있었다. VR은 흔히 가상의 사물과 콘텐츠로 채워진 디지털 공간의 체험을 가리킨다. AR은 물리적 공간에 가상의 사물과 콘텐츠를 불러내 다루는 체험을 가리킨다. MS는 둘을 아우르는 개념으로 MR이라는 키워드를 들고 나왔다.

2017년 10월 26일 열린 삼성 SOSCON 2일차 오전 주제강연 자리에서 한국MS 김영욱 부장이 MR 용어의 학문적 개념과 기술적인 범주를 설명하고 있다.

김 부장에 따르면 MR에는 컴퓨터가 사람과의 소통을 넘어 공간, 소리, 온습도 등 물리적인 주변 환경까지 인식할 수 있는 기술이 필요하다. 센싱, 비전 컴퓨팅, 적외선 공간 스캐닝, 스페이셜(Spatial) 사운드같은 기능이 지원돼야 한다는 설명이다. 컴퓨터, 컴퓨터에 인식된 주위 환경, 이를 다루는 사람의 경험이 잘 합쳐진 경험을 MR이라 부를 수 있다.

이런 MR이란 용어는 MS가 임의로 만든 게 아니라 1994년 출판된 논문에서 등장했다. 그리고 MS리서치가 2000년초부터 연구를 시작해 지금의 MS 태블릿 제품 브랜드 이전에 2006~2007년 나온 테이블컴퓨터 '서피스(Surface)'나 2009년부터 나온 키넥트(Kinect) 카메라에 담아낸 SW 및 하드웨어 기술을 꾸준히 발전시켜 실현 중인 아이디어다.

김 부장은 "기술적으로 AR쪽에 가까운 건 우리가 잘 아는 물리적 현실세계에 컴퓨터의 도움을 받아 정보를 보여 주거나 홀로그램을 띄워 주는 것이고, VR에 가까운 기술은 디지털 세계를 경험하게 해 주는 것"이라면서 "이 두 영역 사이에 간극이 있지만, 단절된 게 아니라 (기술적인 구현 방식에 따라) 점진적으로 모두 연결될 수 있다"고 말했다. MR은 AR과 VR의 어느 중간이 아니라 둘을 통합한 개념이라는 얘기다.

■ MR, VR과 AR의 교집합이 아니라 합집합

한국MS의 2017년 10월 26일 SOSCON 발표자료 일부. 마이크로소프트 MR은 VR과 AR의 스펙트럼을 아우르는 개념이다.

MS의 정의대로라면 MR이라는 연속적인 스펙트럼 안에서, 구현 기술이 VR쪽에 가까울수록 디지털 세계로 몰입하게 되고, AR쪽에 가까울수록 현실 세계의 활동을 덜 제약한다. 김 부장은 홀로렌즈 데모 영상을 통해 이를 설명했다. 영상 속 실내 공간은 기본적으로 현실 세계에 가까운 상태였다. 착용자가 테이블 위 다이어리를 건드리자 디지털 정보를 표시하는 홀로그램이나 앱이 표시됐다. 김 부장은 이를 "컴퓨터가 내가 보는 현실을 똑같이 보고, 여기에 개입해 어시스턴트하는 것"이라고 표현했다.

이어 영상 속 실내 공간에 서 있는 인물을 바라보자 그의 감정상태, 나이와 성별, 신상정보를 분석해 허공에 띄워 주는 장면이 연출됐다. 계속해서 이번엔 바라보고 있는 인물을 홀로그램으로 변환한 모습이 표시됐다. 이 홀로그램을 다른 물리적 공간에 투사할 수 있다면 물리적으로 떨어진 사람들이 한 장소에 있는 것처럼 만나 회의하는 것도 가능해진다. 단지 인물만이 아니라 기기가 인식한 공간과 사물 역시 다른 공간에 옮겨놓고 여러 사람이 함께 관찰하거나 상호작용할 수 있다.

김 부장은 "미국항공우주국(NASA)같은 곳에서 실제로 화성탐사자료를 받아 표시하기 위해 (디지털로) 화성의 표면을 깔아놓고 본다"며 "NASA 연구소는 물리적으로 한 곳에 있지 않기 때문에 각지 연구소의 사람들이 (이런 기술로) 모여서 얘기하고, 함께 논의할 수 있도록 하는 기술을 '홀로포테이션'이라는 서비스로 만들어 준비하고 있다"고 밝혔다.

한국MS의 2017년 10월 26일 SOSCON 발표자료 일부. 물리적 현실에 가까운 AR에서 디지털 현실에 가까운 VR에 다가가는 스펙트럼의 변화를 순차적으로 보여주고 있다.

이어 "이 다음 단계로 가면 모든 구성요소가 가상인 완전 VR이 되는 것이고, MS가 기술적으로 선보인 MR은 여기 설명한 AR과 VR 사이의 모든 중간 단계의 기술을 관리할 수 있는 플랫폼"이라면서 "지금은 HMD 스타일로 2종이 나왔지만, 필요하다면 그 중간단계를 구현할 수 있는 여러 (하드웨어) 제품이 나올 수도 있다"고 덧붙였다.

예를 들어 MS가 MR이라는 용어를 꺼내들면서 2년전 처음 선보인 '홀로렌즈'는 기술적으로 AR쪽에 좀 더 가까운 기술이다. 홀로렌즈는 주변 사물과 공간을 인식하는 센서와 카메라가 탑재돼 있고 착용한 사람의 시야를 가리지 않으면서 인식한 공간에 디지털 정보를 표시해 준다. 사람이 머리에 착용해 동작하는 '헤드마운트디스플레이(HMD)' 형태를 띠고 있지만 윈도10 운영체제(OS)와 인텔 프로세서를 내장해 독립적으로 구동가능한 5천달러(약 700만원)짜리 컴퓨터다.

이와 별개로 에이서, 레노버, 델, HP 등 MS 하드웨어 제조사 파트너 업체의 HMD는 VR에 좀더 가까운 기술을 제공한다. 해당 기기는 최근 윈도10 가을크리에이터스업데이트를 통해 정식 지원되기 시작했다. 세부 제원의 차이는 있지만 착용자의 시야 전체를 활용해 디지털 세계를 표현하는 방식이다. 자체 OS나 CPU나 이미지 프로세싱을 하는 대신 윈도10 PC에 연결하는 방식으로 구동되고 덕분에 상대적으로 훨씬 저렴한 가격대(최저 299달러)로 시판되고 있다.

■"홀로렌즈 출시 안 된 국내에도 300대 이상…활용 의지 높다"

한국MS의 2017년 10월 26일 SOSCON 발표자료 일부. 홀로렌즈 기기로 구현 가능한 MR 경험 사례를 제시하고 있다.

현재까지 MS가 정의한 MR을 가장 폭넓게 구현할 수 있는 기기는 아무래도 홀로렌즈다. 오토바이 제조사의 모델 디자인 협업, 의학교육용 3D 인체해부도, 일본 항공사의 항공기 엔진 분해결합과 조종실 조작교육, 인테리어 업체의 모의 가구배치 및 즉각주문 서비스, 승강기제조사 티센크루프의 단독주택 맞춤형 리프트 주문 등에 홀로렌즈 기술이 도입됐다. 이밖에 포드자동차나, 중국의 공사현장같은 곳에서도 활용중이다.

MS의 홀로렌즈는 중국, 일본, 싱가폴 등에서 정식 출시됐지만 한국에선 그렇지 않다. 그럼에도 국내 기업과 개발자 사이에서 홀로렌즈를 활용하려는 의지가 상당하다.

김 부장은 자신이 파악한 것만으로 "국내에 홀로렌즈가 300대 이상 있다, (정식 시판되지도 않았는데) 알아서 하나씩 다 들여왔더라"며 "실무에 벌써 도입한 곳도 있는데, 우리나라는 굉장히 (도입이) 빠른 것 같다"고 언급했다. 다만 아직 하드웨어상의 한계는 있다고 지적했다. 홀로렌즈가 고성능을 지원하며 독립적으로 동작하지만, 윈도10 PC를 내장하느라 장시간 착용하기엔 무겁기 때문에 더 가벼워져야 한다는 얘기였다.

MS는 홀로렌즈와 함께 서드파티 제조사의 하드웨어 제품을 'MR헤드셋'이라는 표현으로 소개했다. 이들 제품으로 지원되는 경험은 홀로렌즈에 비해 VR 쪽에 가깝다.

한국MS의 2017년 10월 26일 SOSCON 발표자료 일부. MS 하드웨어 파트너들이 만든 MR헤드셋 모델과 이를 위한 콘텐츠 제작용 유니티 개발도구를 소개하고 있다.

김 부장은 제조파트너의 MR헤드셋에 전용 컨트롤러가 함께 지원된다는 점, 게임과 같은 몰입감 높은 콘텐츠를 경험하는 데 강점을 갖는다는 점 등을 언급했다. 시연을 통해 VR 체험중 블루투스로 연결된 전용 컨트롤러를 물리적으로 인식하고 목표물 조준도 비교적 정확하다고 강조했다. 하드웨어에 따라선 홀로렌즈처럼 기기 스스로 공간을 인식하기 위한 적외선카메라 센서를 갖춘 형태도 있어 여타 HMD형 VR기기와 차이를 보인다고 덧붙였다.

이밖에도 MS 측이 강조하는 홀로렌즈와 MR헤드셋 기기는 일반 VR기기의 차이점은 여러가지다. 공간인식, 스페이셜사운드, 시선전이, 음성명령, 모션컨트롤 등을 포함한다. 홀로렌즈의 경우 여기에 더해 제스처 인식까지 가능하다.

■삼성전자 MS MR헤드셋 '오디세이' 실물 공개

김 부장의 강연 중 체험 시연용으로 등장한 기기는 이달초 소개된 삼성전자의 MR헤드셋 '오디세이(Odyssey)' 실물이었다. 김 부장은 "지난 7월부터 국내 사업자와 MR 관련 협력관계 담당자가 됐는데, 지금 시연하는 이 기기가 삼성전자에서 나온 모델"이라며 "에이서, 델, 레노버 등 기존 파트너에서 내놓은 것보다 한 세대 앞선 제품"이라고 언급했다. 기존 MR헤드셋과 달리 디스플레이에 LCD 대신 아몰레드를 채택해 더 높은 밝기와 해상도를 구현했다는 설명이다.

2017년 10월 3일 삼성전자 뉴스룸을 통해 소개된 HMD형 MR디바이스 '오디세이(Odyssey)'

삼성전자 오디세이는 이날 SOSCON 행사장 시연공간 한 쪽에 마련된 한국MS 부스에서도 진열됐다. 하지만 실제 체험 기회는 제공되지 않았다. 김 부장은 "아직 정식 출시되지 않아서 간단히 보여드릴 수밖에 없는데, 조만간 체험할 수 있는 기회가 오지 않을까" 싶다고 언급했다. 삼성전자가 이를 조만간 개발자 대상으로 내놓거나 공식 출시할 수 있음을 암시했다.

MS 차원에서는 MR 플랫폼 확산 전략에 맞춰 각지 개발자 영입이 필요한 시점이다. 김 부장을 통해 MR 기술과 파트너의 지원 현황을 소개한 한국MS 측에서도 국내 개발자들에게 MR 기술을 활용한 콘텐츠와 앱 제작에 도전해볼만한 여건이 마련됐다는 메시지를 내놓았다. 김 부장이 시연한 콘텐츠도 윈도 MR플랫폼으로 실행되지만 개발 자체는 유니티 툴을 사용한 것이었다. 기존 유니티 개발자는 큰 어려움없이 접근할 수 있다는 얘기다.

김 부장은 "아직 모든 자료 전문이 영어로 제공된다는 문제가 있지만 기술문서 특성상 자동 번역기를 통해 어느정도 내용을 이해할 수 있는 수준이고 잘 정리된 문서와 함께 다양한 샘플이 마련돼 있으며 깃허브에 샘플 소스코드도 다 공개돼 있다"면서 "MR을 지원하기 위한 유니티용 툴킷도 이미 만들어져 있어 바로 사용 가능하고, 역시 영어지만 헬로월드, 소개, 각 입력기능과 인식기능 구현을 단계별로 따라할 수 있는 튜토리얼도 준비돼 있다"고 말했다.

2017년 10월 3일 삼성전자 뉴스룸을 통해 소개된 HMD형 MR디바이스 '오디세이(Odyssey)'

■"유니티 이어 언리얼 엔진, 웹VR 지원도 준비 중"

그에 따르면 MS는 MR플랫폼 콘텐츠 개발 기술로 유니티뿐아니라 언리얼 엔진과 '웹VR(WebVR)' 지원도 준비 중이다. 외부에서는 아직 볼 수 없는 MS의 비공개 깃허브 프로젝트로 언리얼 엔진을 지원하기 위한 개발 작업이 진행되고 있다. 또 웹 환경에서 자바스크립트로 구현돼 브라우저에서 돌아가는 웹VR 형태 콘텐츠 역시 지원한다는 논의가 이뤄지고 있다.

개발한 MR플랫폼 콘텐츠를 유통하기 위한 공간으로는 '윈도스토어'가 마련돼 있다. 모든 윈도10 사용자들이 접근할 수 있는 앱 및 콘텐츠 장터다. 윈도10 사용자는 MR헤드셋 착용 직후 'MR포털'이라는 곳으로 진입하는데 여기서 윈도스토어를 열어 게임이나 콘텐츠를 내려받아 이용할 수 있다. 이와 별개로 MS는 게임플랫폼 스팀의 '스팀VR'도 지원한다고 예고한 상태다.

김 부장은 "한국MS도 이미 국내 업체들과 협력을 시작했고 한국 사용자를 위한 재미있는 콘텐츠도 등장할 것"면서 "(윈도10) 클라이언트 쪽은 최근 업데이트를 통해 어떤 공간, 디바이스, 콘텐츠든 소화할 수 있는 방향으로 플랫폼이 크게 바뀌고 있어, 이런것을 집에 하나씩 놓고 재미있게 즐길 수 있는 시간이 곧 올 것 같다"고 말했다.