[딜로이트 테크 인사이트⑪] 차세대 미디어 제작방식 ‘버추얼 프로덕션’ 시선

디지털기술 발전 덕분에 실제 TV 및 영화 제작 세트장에서 시각효과를 구현할 수 있게 됐다. 이로 인해 작품 제작 방식이 더욱 유연해지고 비용 효율성도 개선된다. 창작의 자유가 확대된 것이다.

가상 제작 툴과 기술이 발전하면서 영화 제작 방식도 유연성이 증대하고 제작기간은 단축하는 방향으로 진화를 거듭해 왔다. 이제 후반작업이었던 컴퓨터 그래픽스(computer-generated imagery, CGI)와 시각효과가 실제 세트장에서 실시간으로 구현된다. 딜로이트 글로벌은 2023년 한 해 가상 제작 툴 시장이 22억 달러 규모로 성장할 것으로 전망한다. 이는 2022년의 18억 달러에서 20% 증가한 것이다.

이러한 성장 배경에는 여러 요인이 작용한다. ▲디지털 효과가 뛰어난 영화와 TV 장르 인기가 높아지고 ▲제작 목록은 늘리면서 비용은 절감해야 하는 비디오 스트리밍 업체들이 이러한 장르를 적극 수용하고 있으며 ▲여러 지역에 분포돼 원격으로 일하는 인력이 늘면서 디지털 툴에 대한 의존도도 높아지고 있고 ▲영화 및 동영상 제작 시장의 이러한 니즈에 발맞춰 일부 톱 게임엔진 업체들이 가상 제작 툴 개발에 박차를 가하고 있는 것 등이 꼽힌다.

할리우드가 펜데믹 속에서 안전하게 영화와 TV 촬영을 재개하는 방법을 모색 중이다. 그 일환으로 세트장에서 실시간으로 시각 효과를 입히는 가상 제작(VP, Virtual Production) 테크닉이 점점 더 널리 보급되고 있다. 게임과 엔터테인먼트 산업의 융합을 반영한 VP 파이프라인은 포트나이트 개발업체 에픽 게임즈(Epic Games)의 언리얼(Unreal) 같은 실시간 게임 엔진을 기반으로 구축된다.

'VP'라는 개념은 컴퓨터를 중심으로 비주얼 작업을 세트장에서 실행하자는 생각에서 비롯됐다. '할리우드 리포터'에 따르면 제임스 카메론의 2009년작 '아바타'가 할리우드에서 이 과정을 활용한 첫 번째 영화였고 최근 존 파브로의 '라이언 킹'과 '만달로리언' 같은 최근 작품에서 크게 발전된 모습을 보였다. 국내에서도 반향을 불러일으킨 에니메이션 ‘아머드 사우르스’가 언리얼엔진을 활용해 제작한 작품으로 2022년 대한민국 콘텐츠 대상에서 수상한 것을 비롯해 올 4월부터는 특촬물의 본고장인 일본 지상파 채널에서 ‘신세기 에반게리온’ 후속작으로 방영되고 있다.

브론 미디어(Bron Media Corp.)는 지난 7월 제작 투자 파트너사인 크리에이티브 웰스 미디어(Creative Wealth Media)와 함께 론칭한 애니메이션 중심 가상 제작사 브론 디지털(Bron Digital) 설립 소식을 밝히기도 했다. 아론 길버트 브론 CEO는 “애니메이션은 우리 브론 제작팀이 팬데믹동안 생산할 수 있는 유일한 영역”이라고 말했다. 새 회사는 아자젤 제이콥스 감독이 연출을 맡은 애니메이션 시리즈 'Fables'를 제작 중이며 앞으로 더 많은 시리즈를 제작할 예정이다.

뉴질랜드 웰링턴에 본사를 둔 VFX 강국 웨타 디

지털(아바타 속편 제작), 기술 생산 서비스 업체 스트림라이너, 아발론 스튜디오 등 3개 회사가 새로운 VP 서비스 상품을 만들었다. 게리 왓킨스 아발론 최고경영자는 “가능한 안전한 작업 환경을 제공하는 데 주력하고 있다”면서 “새로운 방식을 통해 제작자들은 촬영 과정을 매우 전략적으로 생각할 수 있고 필요한 배우와 촬영된 제작진의 수를 제한할 수 있다”라고 밝혔다.

■실제 세트장에 가상 세트 구현

CGI와 시각효과는 수 십년간 영화의 스토리를 한층 풍부하게 해주는 중요한 역할을 했다. CGI 툴과 기술이 집대성해 시각적 스토리텔링의 경계를 한층 확장한 대표적 사례가 J.R.R. 톨킨(Tolkien)의 원작을 바탕으로 만든 영화 ‘반지의 제왕(The Lord of the Rings)' 3부작인데, 관객이 실감나는 판타지 스토리를 생생하게 즐길 수 있도록 하기 위해 제작 과정에서는 실제 촬영으로 구현할 수 없는 수많은 장면을 소프트웨어를 사용해 후반제작 해야 했다.

배우들은 텅빈 녹색 스크린 앞에 서서 나중에 추가될 세트와 효과를 상상하며 연기해야 했다. 감독과 카메라맨은 세트장에서 모션캡쳐 수트(motion-capture suit)를 입은 배우들을 눈으로 볼 수 있지만 스크린에 나타날 3D 제작 결과물은 실제로 보지 못했다. 후반제작이 완성되기 전에는 공상의 세팅을 시각화할 수 없었던 것이다. 게다가 영화는 많은 장면이 로케이션 촬영으로 이뤄지기 때문에 촬영진과 장비가 촬영지까지 이동해야 해 시간과 돈이 많이 들고 현지 상황에 따라 촬영 지연 등의 불확실성이 자주 발생하기도 한다. 판타지 영화 시장에 뛰어드는 제작사가 많아지면서 시간과 비용을 줄여야 한다는 압박도 커져 제작사들은 로케이션 촬영에 따른 한계를 갈수록 더 큰 부담으로 느끼고 있다.

여기에서 등장한 가상 제작은 제작사들에 더욱 큰 자유와 유연성을 제공한다. 게임엔진, LED 패널, 증강현실(AR), 가상제작 등 기술을 활영하면 CGI와 시각효과를 실시간으로 제작 과정에 응용해 배우를 포함한 제작진 모두가 실제 세트장에서 가상 세트를 직접 눈으로 보면서 상호작용할 수 있다. 가상 세트는 게임엔진 내에서 만들어질 수도 있고 사진측량 기법(photogrammetry)을 활용해 캡쳐할 수도 있다. 프랑스 파리 전경을 스캔으로 떠 3D 모델로 만드는 식이다. 그런 다음 가상 세트와 효과를 LED 패널에 고해상도로 구현하면 벽과 기둥으로 가득 찬 LED 스크린이 실제 세트장을 둘러싸 캘리포니아 버뱅크의 세트장을 파리 거리로 탈바꿈시킨다.

배우들은 디지털 세트와 배경요소를 보며 더욱 자연스럽게 연기할 수 있다. 여기에 AR 기능을 갖춘 카메라까지 사용하면 감독과 카메라맨이 모션캡쳐 수트를 입은 배우들이 연기하는 가상 캐릭터 등 디지털 자산을 더욱 역동적으로 볼 수 있다. 세트장을 직접 찍는 카메라와 가상 카메라를 동시에 활용하면 실제와 가상 공간의 움직임을 정밀하게 추적할 수 있다.

가상 제작은 세트장에서만 유용한 게 아니다. 영화 제작 과정 전반에서 유연성이 한층 개선된다. 디지털 세트장에 있는 물체는 원하는 대로 얼마든지 재배치할 수 있으며 실제 사물과 가상 사물 간 조명도 훨씬 쉽게 맞출 수 있다. 제작비도 줄일 수 있고 시간도 단축되며 굳이 로케이션 촬영을 하지 않아도 된다. 무한한 창의력만 있으면 원하는 장면을 얼마든지 만들 수 있다.

제작사들이 스트리밍용 영화를 제작하고 자체 스트리밍 서비스를 출시하는 경우가 많아지는 만큼 주력 작품들은 대부분 가상 제작을 이용해 제작한다. 예를 들어, 제작사 ILM은 가상 제작을 활용해 실내 스튜디오와 야외 촬영지 단 몇 곳에서 찍은 장면을 2019년작 ‘만달로리안’(The Mandalorian)으로 변모시켰다. 영화에서나 볼 법한 시각효과로 가득 찬 외계 우주를 탄생시켜 스트리밍 TV로 구현했다.

‘만달로리안’ 성공은 가상 제작 도입을 촉발시킨 계기가 됐다. 화려한 장관이 펼쳐지는 영화, 즉 비주얼이 뛰어난 영화는 언제나 관객의 사랑을 받는다. 지난 10년간 가장 큰 성공을 거둔 작품들은 대부분 어드벤처물과 액션물이었으며 판타지물과 공상과학물이 그 뒤를 이었다. 이러한 장르의 작품들은 CGI와 시각효과를 구현하기에 최적이다. 이러한 장르는 배우와 관객을 다른 세계로 옮겨주는 불가능한 일을 해내기 위해 갈수록 가상 제작 기술에 의존하고 있다. 주요 비디오 스트리밍 업체들도 이러한 장르의 작품을 늘리고 있어 시청자를 만족시킬 수 있는 시각 효과와 경험을 개발하는 데 중심이 되는 가상 제작을 적극 활용하고 있다.

코로나19(COVID-19) 팬데믹을 계기로 가상 제작 효용성이 한층 부각됐고 이를 도입하는 경우도 크게 늘었다. 각종 문화시설이 폐쇄되고 사회적 거리두기가 시행되자 극장에서, 또 이동 중 스마트폰으로 작품을 즐기던 관객들이 집에서 대형 스크린으로 작품을 즐기게 되었고, 이와 동시에 주요 미디어 및 엔터테인먼트 업체들이 비디오 스트리밍 서비스를 대거 제공했다.

LED 패널이 가상 세트와 배경을 보여주고, AR 오버레이(overlay) 기술을 사용하면 카메라맨이 배우가 연기하는 디지털 캐릭터를 실시간으로 볼 수 있다. 스트리밍 업체와 제작사 모두 품질과 양을 떨어뜨리지 않고 자체 제작 콘텐츠를 늘려야 하는 부담감을 느끼고 있어 가상 제작과 가상 효과가 더욱 부상하고 있다. 특히 시각효과가 풍부한 장르가 시청자의 호응이 좋기 때문에 가상 제작 도입을 더욱 부추기고 있다.

팬데믹을 계기로 여러 곳에 분산된 인력이 원격으로 제작에 참여하는 경우도 많아졌다. 제작진을 모조리 비행기에 태워 로케이션 장소로 이동시키거나 세트장에 집합시키는 대신 원격 제작 솔루션을 활용하면 실제 제작 환경을 디지털로 구현할 수 있다.

초현실주의 비디오게임의 발전도 가상 제작의 도입을 부추기고 있다. 에픽게임즈(Epic Games)의 3D 엔진인 언리얼 엔진(Unreal Engine)은 고성능 컴퓨팅과 3D 모델링, 물리학을 활용해 오랜 시간 노동집약적으로 이뤄지는 후반제작을 세트장에서 실시간 구현되는 포토리얼리즘으로 전환한 선도 기술이라는 평가를 받고 있다. 에픽게임즈는 언리얼 엔진을 활용해 자사 게임도 한층 업그레이드했다. 유니티테크놀로지스(Unity Technologies) 등 여타 게임엔진 선도 기업들도 3D 게임 경험을 2D 스토리텔링과 융합하고 있어 앞으로 지식재산(IP), 이용자, 엔터테인먼트 등 요인들이 심심치 않은 지각변동을 보일 것으로 예상된다.

메타버스라는 약속의 땅에 이르는 여정에는 영화와 게임이 힘을 합쳐 영화 같은 스토리텔링과 몰입형 소셜 게임, 실시간 방송 등이 합쳐진 전혀 새로운 형태의 엔터테인먼트가 나타날 수도 있다.

■버추얼 스튜디오서 메타버스 공간 만들어 채울 것

가상 제작은 이미 영화와 TV 제작 분야에서 광범위하게 활용하고 있으며, 이제 초기 도입 단계를 지나 주류 기술로 부상하는 초기 단계로 나아가고 있다. 가상 제작은 작가와 제작진에게 커다란 유연성과 자유를 선사하기 때문에 앞으로 사용 범위는 한층 확대될 것이다. 또한 스트리밍 업계의 경쟁이 치열해지고 경기 불황으로 소비자 지갑도 가벼워져 콘텐츠 제작 비용을 감축해야 하는 압박도 상당하다. 따라서 제작 비용을 절감해주고 시간도 단축시켜주는 가상 제작에 의존하는 제작사가 늘어날 것이다.

한 가지 문제는 가상 제작 자체도 적지 않은 투자금이 필요하다는 것이다. 계획을 잘 세워서 제대로 활용하면 전통 기법보다 비용과 시간을 절약할 수 있지만, 기술 자체가 복잡하고 사용하기가 어려워 인력을 재훈련해야 할 뿐 아니라 첨단 하드웨어도 비싼 값에 구입해야 한다. 현재 가상 제작 인력은 구하기가 힘들기 때문에 몸값이 높다. 또 업계 구조도 산발적이다. 주류 대형 제작사는 자체 가상 제작 툴체인을 만들어 영화 제작 과정에 가상 제작을 통합하는 방식을 스스로 발전시켜 나가고 있는 반면, 영세 제작사나 스트리밍 업체들은 인력과 소프트웨어, 하드웨어를 패키지로 제공하는 외부 업체에 의존하고 있다. 따라서 표준과 설정 및 추적 방식이 제각각일 수밖에 없고, 실물과 디지털을 매끄럽게 혼합하는 데에도 한계가 있다.

가상 제작을 도입하면 기획과 예산 집행 방식도 수정해야 한다. 예전에는 후반작업으로 하던 상당수 작업이 이제 사전작업으로 옮겨져 디지털 자산을 만들고 색감을 맞추고, 필요한 하드웨어와 소프트웨어를 구축하는 등 사전작업이 크게 늘었다. 이렇게 되면 제작 초반에 투자자들에게 많은 돈을 요구할 수밖에 없고 이 때문에 발을 빼는 투자자가 나올 수도 있다. 하지만 가상 제작 시장이 성장할수록 비용, 전문성, 예산의 장벽은 결국 무너질 것이다. 그리고 산업이 성숙기에 이르고 노하우가 쌓이면 활용이 한층 용이해질 것이다. 또 게임과 영상 제작이 상호작용하면서 세트와 캐릭터, 이미지 등 디지털 자산이 각각의 미디어 사이를 더욱 쉽게 넘나들게 돼 콘텐츠 개발의 피드백 고리가 형성될 수도 있다.

비디오와 게임을 통해 경험할 수 있는 다양한 ‘우주’를 중심으로 프랜차이즈 형식의 작품 제작을 추구하는 제작사가 많아지고 있으며, 관객도 갈수록 더욱 풍부하고 기발한 상상력의 초현실적 가상세계를 즐기는 데 익숙해지고 있다. 엔터테인먼트의 소셜과 인터랙티브 속성이 강해지고 있는 가운데 가상 제작 기술은 앞으로 등장할 메타버스의 초석이자 실현기술이 될 것이다.