런웨이, 텍스트로 영상 만드는 생성AI '젠2' 공개

이미지 없이 텍스트 만으로 영상 제작, 소스자료 참조한 변환도 지원

텍스트만으로 간단한 영상 클립을 생성할 수 있는 인공지능(AI) 모델 젠2(Gen-2)가 공개됐다.

20일(현지시각) 실리콘앵글 등 외신에 따르면 스타트업 런웨이(runway)는 영상 생성AI 젠2를 출시했다.

미국 뉴욕에 위치한 런웨이는 이미지 및 비디오 편집 작업 전문 AI개발에 특화된 스타트업이다. 최근 주목받은 이미지 생성AI 스테이블 디퓨전 개발에도 참여한 바 있다.

젠2를 이용해 텍스트로만 만든 영상클립 (산맥 공중 드론 영상 입력)

젠2는 지난 2월 공개한 젠1의 업그레이드 버전이다. 이전 제품보다 정밀한 영상을 생성할 수 있으며, 더 많은 사용자 지정 옵션을 제공한다.

특히, 기존 젠1은 텍스트와 함께 편집에 필요한 영상을 요구했지만, 젠2는 소스 비디오나 참조 이미지 없이 텍스트 프롬프트를 입력하는 것만으로도 영상을 만들 수 있다. 보다 정확한 영상 제작을 위해 젠1과 같은 방식도 지원한다.

젠2를 이용해 텍스트로만 만든 영상클립 (뉴욕시 다락방의 창문을 통해 엿보는 늦은 오후의 태양 입력)

런웨이는 젠2 개발을 위해 2억 4천만 개의 이미지와 640만 개의 비디오 클립으로 구성된 교육 데이터 세트를 사용하여 모델을 개발했다고 밝혔다. 

이후 AI의 기능을 평가하기 위해 일련의 사용자 연구를 진행했다. 평가결과 동일한 카테고리에서 가장 발전된 두 AI 모델보다 젠2가 더 나은 성능을 보였다고 밝혔다.