상상 속 공간이 눈앞에..."AI 버추얼 프로덕션 '팀스튜디오'입니다"

AI가 만든 배경이 대형 LED 월에 펼쳐져...영상 몰입감 극대화

한쪽벽을 모두 차지한 대형 LED 월(Wall)에 애메랄드 빛 바다와 대형 절벽이 펼쳐졌다. 절벽 위로는 두둥실 구름이 흘러가고 있고, 바닥에는 햇빛에 반짝이는 물들이 흘러가고 있다. 시각적으로 차지하는 엄청난 청량감에 찰랑이며 흐르는 물들이 차갑겠다는 생각도 잠시, 아차하고 다시 눈을 부릅떴다. 스튜디오인 것을 깜박한 것이다. 생생하게 펼쳐진 풍경이 실제 여행지에 온 것과 같은 몰입감을 줬다. 

지난 17일 방문한 경기도 판교 SK텔레콤 '팀 스튜디오' 현장에서는 세계 여행지를 소개하는 '다시갈지도' 촬영이 한창이었다. 다시갈지도는 누워서 즐기는 랜선 세계 여행 프로그램이다. 김신영, 이석훈, 최태성 등이 MC로 출연한다. 이날에는 정태우와 장인희가 게스트로 출연했다.

다시갈지도 예능 한 장면. AI를 활용해 LED월에 배경을 만든 모습.

17일 다시갈지도 촬영 현장

팀 스튜디오는 VFX 기반 미디어 콘텐츠 제작소다. 지난 2022년 개관해 SK텔레콤의 인공지능(AI), 유무선, 클라우드 기술을 활용해 광고, 예능, 드라마, 시사회, 게임사 이벤트 등 여러 장르의 버추얼미디어를 제작하고 있다.

SK텔레콤은 팀스튜디오의 설립 기획 단계부터 국내 주요 버추얼 프로덕션과 컨소시엄을 구축해 운영하고 있다. ▲버추얼 프로덕션 '엑스온 스튜디오(XON Studios)'▲초고화질 영상 제작 기술과 노하우를 제공하는 '미디어캔' ▲가상공간 구현 솔루션 아이튜버(I-TUBER)를 제공하는 '두리번' 등의 컨소시엄사를 이루고 있다.

직접 방문한 팀 스튜디오에서 가장 눈에 들어왔던 것은 U자로 곡선으로 만들어진 대형 LED 월이다. LED 월은 실시간으로 배경을 변경할 수 있다. 카메라의 심도, 위치 등을 파악해 실시간으로 연결되는 배경을 표현해 후반 작업 시간도 크게 줄일 수 있는 장점이 있다.

현장에서 만난 장원익 엑스온 스튜디오 대표는 "기존에는 초록색 크로마키 배경으로 촬영을 해 후반작업에서 CG를 입히는 방식이였다면, 저희는 현장에 배경이 바로 도입돼 후반작업 시간이 크게 준다"며 "제작자가 원하는 공간과 날씨, 시간을 정밀하게 구현할 수 있다. 색채와 밝기 조절까지 섬세하게 조절이 가능하다"고 밝혔다. 

하나의 배경을 구현하기 위해 여러 레이어를 사용하는 모습

완성된 모습. 팀 스튜디오는 너프(NeRF)와 가우시안 스플래팅(Gaussian splatting) 등에 AI 기술을 접목해 실제와 같이 생생한 배경을 선보인다.

SK텔레콤은 생성형 AI를 활용해 콘텐츠 촬영에 활용하고 있다. 예를 들어 '동굴, 에메랄드빛 바다, 파란 하늘'을 입력하면 생성형 AI가 바닷가에 위치한 동굴 사이로 하늘이 보이는 이미지를 생성해 준다. 이 이미지를 다시 AI가 3차원으로 분리해 현실감이 극대화된 배경을 제작해준다.

팀 스튜디오는 너프(NeRF)와 가우시안 스플래팅(Gaussian splatting) 등의 기술을 활용해 배경제작 역량을 강화했다. 과거 2D에서만 그쳤다면 현재는 2D 이미지를 가지고 2.5D와 3D로 표현하는 단계로 성장했다는 설명이다. 

너프는 각기 다른 방향에서 본 일련의 2차원 세트를 기반으로 해당 객체를 3D로 구현하는 AI 기술을 지칭한다. 또한 가우시안 스플래팅은 여러 시점의 이미지를 활용해 3D 형상을 구성하는 기술이다. 3D 장면을 위치, 회전, 크기, 불투명도, 색상을 갖는 수백만개 입자로 표현할 수 있다.

SK텔레콤의 미디어R&D 조직은 기존에 있던 기술들을 개발해 응용 기술로 진화시켰고, 이를 팀스튜디오에서 활용할 수 있게 하고 있다. 이에 SK텔레콤의 '너프 AI' 기술이 만들어졌다. 스마트폰이나 카메라로 촬영한 2D 이미지 사진(영상)들을 AI 모델인 뉴럴 네트워크에 입력시켜 3D 공간으로 재구현하는 기술이다.

김창현 팀스튜디오 매니저는 "기존에는 해외 현장을 스튜디오에서 사용할 수 있는 3D 공간으로 구현하기 위해 길게는 한 달도 걸렸으나, 너프AI 기술을 활용하면 여행에서 촬영해 온 이미지 몇 장 만으로도 LED월에 현장감 있는 배경을 구현할 수 있다"고 설명했다.

가우시안 스플래팅 기술 활용, 잠실역 트레비 분수를 현장에 구현시킨 모습 (영상=SK텔레콤)

현재 팀스튜디오는 채널S여행 예능 다시 갈 지도 외에 ▲SBS '과몰입인생사' ▲EBS '장학퀴즈' ▲K2 '23년 F/W' ▲디올 'SAUVAG' 등의 다양한 프로그램과 광고 촬영을 진행한 바 있다. 이에 콘텐츠 제작과 관련한 러브콜도 상당한 편이다.

장원익 대표는 "보통 CF 광고를 찍고 화보 촬영을 하면 장소, 시간 등이 두배로 들어가는데 팀스튜디오에서는 배경만 바꾸면되 바로 다른 장소인것 처럼 할 수 있다"며 "한 장소에서 CF와 화보를 둘다 찍을 수 있어 시간이나 비용이 매우 축소된다"고 말했다.

이어 "특히 배우들의 경우 좀더 실감나게 몰입이 가능하다"며 "현장에서 배경이 바로 바뀌기에 본인이 뭘 찍고 있는지도 명확하게 시각적으로 확인할 수 있는 것이 굉장한 장점"이라고 덧붙였다.

장원익 대표

최근 팀스튜디오는 SK텔레콤이 보유한 AI 기술을 실제 촬영에 접목시키는데 힘을 쏟고 있다. 이에 너프와 가우시안 스플래팅을 활용해 촬영된 이미지를 3D 결과물로 만들어내는 AI 기술을 적극 연구하고 있다. 팀스튜디오는 이러한 AI 배경 제작 기술을 지속 고도화해 ‘AI 버추얼 스튜디오’로서 입지를 공고히 할 계획이다.

장원익 대표는 "SK텔레콤은 오픈된 AI 기술 활용해 응용시키는 능력이 뛰어난 회사다"라며 "타 회사들이 AI를 각자의 방식으로 개발하고 있지만 직접적으로 촬영이나 현장에서 쓰는 곳이 많지 않다"고 말했다. 

이어 그는 "이러한 SK텔레콤의 기술력과 저희 스튜디오의 VFX 촬영 능력 노하우 등을 결집시켜 팀스튜디오를 'AI 버추얼 프로덕션'으로 발전시켜 나가고자 한다"고 강조했다.