AR 댄스 게임 '가가댄스' 포켓몬고 바통 이을까

동영상 SNS 틱톡, AI로 동작·음악 인식 탁월

자신의 모습을 영상으로 드러내는 데 거침이 없는 이른바 Z세대를 겨냥한 동영상 서비스들이 속속 등장하고 있다. 최근엔 증강현실(AR) 기술을 이용해 리듬에 맞춰 춤을 추는 ‘온몸으로 하는 DDR' 게임이 국내에 서비스되고 있다.

특수효과 동영상 SNS인 틱톡은 지난해 말 AR 댄스 게임 ‘가가댄스’를 국내에 출시했다. 앞서 전세계적으로 돌풍을 일으킨 포켓몬고 이후 이렇다 할 성과를 낸 모바일 AR 게임이 드문 가운데, 가가댄스가 포켓몬고의 명맥을 이을지 관심이 쏠린다.

틱톡은 올해 1분기 앱스토어에서 가장 많이 다운로드 된 중국산 앱으로도 한 차례 주목을 받기도 했다. 모바일 앱 전문 조사 업체 센서타워에 따르면 틱톡은 지난 1분기 4천 500만 회 이상 다운로드 됐다. 유튜브, 페이스북, 인스타그램 등 미국산 앱 판도를 틱톡이 깼다.

가가댄스를 이용해 춤을 추는 유병재.(출처=틱톡코리아 공식 인스타그램 계정)

■가가댄스, 인체 주요 부위 실시간으로 인식하는 AR 게임

가가댄스는 90년대 인기를 끈 DDR 게임을 하듯 온몸으로 지시에 맞춰 춤을 추는 게임이다. 먼저 스마트폰을 이용자의 전신이 화면에 들어올 만큼의 거리에 놓은 다음, 음악과 지시에 맞춰 춤을 추면된다.

적절한 타이밍에 맞춰 동작을 취하면 ‘굿’이나 ‘퍼펙트’를 받을 수 있다. 일정 시간이 지나면 속도가 빨라져 난이도가 어려워지지만 자연스럽게 춤다운 춤을 출 수 있다.

가가댄스 비디오 콘텐츠 수는 전 세계적으로 1천600만 건에 달한다. 또한 국내에선 지난 3월 연예인 유병재가 가가댄스를 이용해 춤을 춘 영상이 인스타그램에 게재되면서 인지도를 올렸다.

가가댄스의 핵심 기술은 인체 주요 부위 17곳을 실시간으로 감지하는 동작 감지 센서다.

가가댄스에 사용된 신체 동작 인식 기능

틱톡에 따르면 동작 감지 센서의 인식 가능 범위를 전신으로 확대한 것은 틱톡이 중국 최초다. 그간 사람의 자세와 복장이 복잡해 인체 주요 부위를 정확히 감지하는 기술을 실제로 적용하기 어려웠다. 얼굴 화장이나 동물 모양 분장 등에 사용되는 컴퓨터 비전 활용 얼굴 인식 기술보다도 구현하기 어려운 기술이다.

틱톡 관계자는 “그간 방대한 컴퓨터 리소스가 필요해 일상적으로 동작 인식과 관련된 서비스를 하는 데에는 한계가 있었다”며 “따라서 시장의 많은 제품들은 인체 주요 부위의 절반만 인식하거나 얼굴만 인식하는데 머물렀다”고 설명했다.

이에 바이트댄스 내 AI 연구팀은 딥러닝을 이용해 인체 주요 부위를 감지하는 기술을 발전시켰고 모바일 디바이스에도 성공적으로 안착시켰다. 또한 네트워크 설계 및 알고리즘 학습을 통해 정보 처리량을 감소시키고 정확성도 높여 실시간 AR 게임에 활용할 수 있도록 했다.

■음악 리듬을 포착하는 AI로 재밌는 동영상 편집

가가댄스 외에도 틱톡의 동영상 기능들은 음악을 인식하는 능력이 탁월하다.

틱톡에서 동영상 촬영시 배경음악을 설정할 수 있는데, 리듬을 분석하는 AI 기능 덕분에 이용자들은 화면 내에서 움직임을 취할 때 리듬에 대한 고민 없이 촬영할 수 있다. 여기에 얼굴 보정 및 필터, 3D 가상 소품 등을 활용해 재밌는 영상을 연출하는 게 가능하다.

실제로 틱톡에는 배경음악에 맞춰 홀로 혹은 단체로 춤을 추는 영상들이 다수 올라와 있다. 젊은 층의 이용자들은 러시아댄스, 크록하, 셔플 등 다양한 장르의 최신 유행 춤을 추고 이를 틱톡에서 선보이고 있다.

틱톡은 국내외 프로 작곡가들의 수많은 곡들을 보유하고 있다. 매일 신곡을 업데이트하고 유저 성향에 맞게 곡을 추천하는 기능도 갖췄다.

틱톡을 이용해 동영상을 촬영한 국내 연예인들

또한 틱톡이 올 초 출시한 ‘하프앤하프’도 주목할 만한 기능이다. 하프앤하프는 듀엣 영상 편집 기능으로, 이를 이용하면 한 개의 비디오 쇼트 내에서 두 개의 영상을 편집할 수 있다. 특정한 컨셉으로 먼저 촬영한 영상에 이어 다른 영상을 조화롭게 촬영하는 식이다. 두 명의 이용자가 음악에 맞춰 하프앤하프 컨셉으로 춤을 출 수 있으며, 스타와 팬이 함께 듀엣 영상을 촬영하는 것도 가능하다.

배우 남주혁은 여자친구와 통화하는 남자친구 컨셉의 하프앤하프 영상을 제작했고 약 46만 개의 좋아요를 기록하며 큰 관심을 모은 바 있다.