구글 딥마인드가 화면과 소리를 함께 생성하는 인공지능(AI) 모델 '지니4'로 영화·게임 제작과 로봇 훈련 분야 공략에 나선다. 사용자 행동에 반응하는 가상세계를 구현해 촬영이나 개발에 앞서 아이디어를 시험하고 로봇과 AI가 과제를 수행하는 과정을 점검하도록 지원한다.
구글 딥마인드는 27일(현지시간) 자사 블로그를 통해 지니4를 일부 시험 사용자에게 연구용으로 공개했다고 밝혔다. 사용자가 글로 날씨를 바꾸거나 인물을 추가하도록 요청하면 장면과 소리를 실시간으로 생성한다. 가상공간 속 인물이 사용자 입력이나 주변 상황에 반응해 대화하는 기능도 갖췄다.
지니4는 주변 환경과 그 안에서 일어나는 변화를 생성하는 월드모델이다. 완성된 영상을 재생하는 방식과 달리 사용자가 키보드로 이동하거나 카메라 방향을 바꾸면 그에 맞춰 다음 장면을 만든다. 사용자는 생성된 공간을 탐색하면서 사건 흐름에도 개입할 수 있다.
소리 생성 기능은 바람과 파도 같은 주변 소음부터 악기 연주와 인물 대화까지 지원한다. 별도로 음향을 입힐 필요 없이 모델이 화면 속 상황에 맞는 소리를 직접 만드는 방식이다. 구글은 지니4가 자사 실시간 월드 모델 가운데 처음으로 음성을 포함한 오디오 생성 기능을 갖췄다고 설명했다.
영화 촬영 전 장면 구상…게임은 코드 작성 전 공간 탐색
구글이 시험 중인 주요 활용 분야는 영화와 게임 제작이다. 영화 제작자는 지니4를 이용하면 가상 장면 안에서 카메라 각도와 조명, 대사, 인물 동작을 바꾸며 여러 촬영안을 비교할 수 있다. 실제 촬영에 들어가기 전 머릿속 구상을 화면과 소리로 확인하도록 돕는다.
시험에 참여한 게임 개발자와 창작자는 코드를 작성하기 전 탐색 가능한 가상공간을 만들고 있다. 글로 화면 스타일과 사물 질감, 상호작용 방식을 바꾸며 초기 아이디어를 확인하는 용도다.
일부 사진기자는 과거 사진 한 장을 바탕으로 움직이는 가상환경을 만드는 방식을 시험 중이다. 구글은 역사 속 공간을 체험하거나 홍수·산불에 따른 환경 변화를 시각화하는 데도 활용 가능성을 살펴보고 있다고 밝혔다.
구글은 창작과 언론, 교육, 게임, 엔지니어링 분야 시험 사용자 의견을 받아 서비스를 개선할 방침이다. 산업별 협력사도 시나리오를 빠르게 구현하는 도구로 지니4를 평가하며 실제 업무에 적용하기 위해 보완할 부분을 찾고 있다.
제미나이가 단계별 진행 점검…로봇 행동도 가상환경서 시험
구글은 지니4에 AI 모델 '제미나이'를 결합해 복잡한 작업도 가상환경에서 구현하도록 했다. 여러 행동이 순서대로 이어져야 하는 작업에서는 제미나이가 계획을 세우고 진행 과정을 점검하는 역할을 맡는다.
'제미나이 3.8 플래시'는 목표를 단계별로 나눈 뒤 지니4가 생성하는 화면을 보며 각 단계가 제대로 이뤄졌는지 확인한다. 사용자가 중간에 개입하거나 환경이 바뀌면 계획도 수정할 수 있다. 제미나이 옴니는 현실과 비슷한 모습과 움직임을 구현하는 데 쓰인다.
구글은 '제미나이4 아르곤'과 지니4를 연결해 앱트로닉 휴머노이드 로봇 '아폴로'가 체커 게임을 하는 가상 장면도 소개했다. 아르곤이 작업을 단계별로 나눠 글로 전달하면 지니4가 이를 화면으로 구현한다. 실제 로봇을 움직인 실험이 아니라 로봇 행동을 가상환경에서 생성한 사례다.
구글은 이 기술을 로봇과 AI 에이전트가 현실에 투입되기 전 여러 환경에서 행동을 시험하는 데 활용할 계획이다. 이를 위해 제미나이 추론 능력과 지니 장면 생성 능력을 결합해 사용자 요청에 맞춰 가상세계를 바꾸고 장면이 앞뒤 흐름에 맞게 이어지도록 연구하고 있다.
지니4는 아직 실험 단계로, 실행 시간이 길어지거나 복잡한 수정을 반복하면 물체 모습과 위치가 달라질 수 있다. 복잡한 물리 현상과 소리, 공간 관계를 정확하게 표현하고 화면 속 글자를 읽을 수 있게 생성하는 능력도 추가 연구 과제로 남았다.
관련기사
구글은 향후 프로젝트 지니에서 구글 AI 울트라 가입자에게 지니4를 제공할 예정이다. 제미나이 API와 구글 AI 스튜디오 일부 협력사에도 공개 범위를 넓힌다. 생성한 모든 영상과 오디오에는 AI 생성물 식별을 돕는 디지털 워터마크 '신스ID'를 적용하기로 했다.
구글 딥마인드는 "세계를 이해하고 시뮬레이션하는 일은 범용인공지능(AGI)을 만드는 데 중요한 요소"라고 밝혔다.
