"야구 하이라이트 편집, 인간 30분→AI 3분"

"야구 경기 종료 후 3분 내에 득점, 삼진, 호수비, 진루타, 병살 등 주요 장면이 포함된 전체 경기 하이라이트 영상이 생성됩니다. 영상 편집자들이 수동으로 편집하면 30분 이상 걸리는 작업인데 인공지능(AI)으로 자동화하면서 훨씬 빠르게 하이라이트 영상을 제공할 수 있게 됐습니다."

네이버가 스포츠 플랫폼 이용자들이 보다 다양한 방식으로 경기를 즐길 수 있도록 AI 기술을 적극 활용하고 있다. AI로 실시간 경기 영상에서 주요 이벤트를 찾아내고, 이를 바탕으로 '득점 위치 표시' '득점 하이라이트 다시보기' 등 다양한 추가 서비스를 만들어 내고 있다.

지난해 KBO 포스트시즌 맞춰 선보인 'AI 주요장면 하이라이트' 서비스는 그동안 쌓은 스포츠 플랫폼팀 내 AI 역량을 총 망라한 결과물이다.

네이버 스포츠 플랫폼팀에서 AI 태스크포스(TF) 조직을 이끌고 있는 강경진 리더는 "주요장면 하이라이트에는 영상 내 객체 인식(컴퓨터 비전), 선수 동작 인식(액션 레코그니션), 장면 분류 등 우리가 그동안 연구해 온 AI 기술이 모두 접목됐다"고 강조했다.

AI를 활용한 주요장면 하이라이트 영상 생성은 단 3분만에 가능하다. 이미 속도 측면에서 사람 편집자를 월등히 앞섰다. 정확도는 80점 정도로 품질도 나쁘지 않다. '2021 KBO' 개막경기부터는 속도뿐 아니라 정확도 측면에서도 사람 편집자를 능가하는 AI 편집을 선보인다는 계획이다.

두 달 앞으로 다가온 '2021 KBO'에서는 AI가 어떻게 야구 보는 재미를 더해줄지 인터뷰를 통해 들어봤다.

'홈런' 자동 표시부터 차츰 진화한 AI 서비스

아무리 열렬한 야구팬이라도 월요일 빼고 매일, 최소 3시간 이상 진행되는 정규시즌 경기 전체를 챙겨보긴 어렵다. 홈런, 득점, 선발투수의 호투 등 경기 주요 장면을 빠르고 쉽게 찾아 보려는 욕구가 강할 수밖에 없다.

네이버 스포츠 플랫폼은 지난 2018년부터 AI를 활용해 이런 수요에 대응해 오고 있다. 가장 먼저 KBO 생중계 영상에 홈런 위치 자동 표시 기능을 도입했다. 타자가 중계 영상 중 어느 시점에 홈런을 쳤는지 표시해주는 기능이다. 사용자들이 원할 경우 곧바로 해당 시점을 찾아서 홈런 장면을 다시 볼 수 있도록 했다.

홈런 여부는 영상에서 '홈런' 텍스트를 감지해 인식한다. 먼저 홈런이 표시되는 위치를 찾고, 홈런이라는 텍스트가 표시되는지 감지하는 작업이 이어져야 한다. 방송사마다 텍스트 위치, 크기, 표시 방식등이 달라 최적의 방법을 찾아내는 데 다양한 실험이 필요했다는 설명이다.

AI TF 백준봉 기술리더는 "홈런 표시 위치는 처리속도가 굉장히 빠른 컴퓨터비전 모델인 욜로V3를 통해 자동으로 탐지하고 있다. 초기에 수동 좌표로 관리하던 방식에서 진화시켰다. 텍스트 인식은 4그램 매칭이라는 모델을 사용한다. 한 방송사가 우측에서 좌측으로 텍스트가 흘러가면서 4글자만 표시되는 형식으로 'HOMERUN' 텍스트를 표시하고 있어, 이 모델이 가장 적합하다고 판단했다"고 말했다.

2019년 8월에는 '경기별 득점 & 선발투수 하이라이트' 영상을 오픈했다. 실시간 경기를 놓친 팬들이 어떤 방식으로 어떻게 득점이 이뤄졌는지, 선발 투수가 어떻게 호투했는지 볼 수 있게 한 서비스다. 딥러닝 모델을 통해 스코어링을 자동인식하고, 투수가 피치하는 투구모션 인식해 자동으로 하이라이트가 생성되도록 했다.

이 과정에서 투수의 투구(피칭) 모션 인식률을 100%로 끌어 올렸다. 야구의 모든 플레이가 피칭에서 시작되는 만큼 다른 기능을 개발하는 데도 큰 영향을 미친 중요한 성과다.

백준봉 기술리더는 "투구 모션 인식을 위해 텐서플로우 오브젝트 디텍션 API를 적용했는데, 이 모델만 쓸 경우 인식 오류가 상당했다. '투수-타자-포수'가 일렬로 보이는 게 정상 투구 모션인데, '1루수-코치-덕아웃스탭'이 잡히거나 '주자-1루수-심판' 등을 잡는 오인식 케이스가 발생했다. 이 문제를 해결하기 위해 룰베이스 알고리즘을 사용했다. '투수가 타자와 포수 좌측에 있는가' '포수의 머리는 타자보다 낮은가' '투수의 발은 타자와 포수보다 낮은가' 등 위치에 대한 알고리즘을 적용했고, 그 결과 정상 피치 모션을 100%탐지하게 됐다"고 설명했다.

2019년 9월에는 생중계 영상에도 득점위치가 자동 표시되도록 서비스를 업그레이드 했다. 득점을 하게 되면 1분 이내 생중계 타임머신에 위치가 자동 생성돼, 잠깐 자리를 비운 사이 득점 장면을 놓쳤더라도 득점 장면을 빠르게 찾아볼 수 있게 했다. 이 기능은 지금은 PC에서만 활용할 수 있지만, 앞으로 모바일 기기에도 적용될 예정이다.

생중계 영상에서 득점 위치를 정확하게 표시하기 위해 문자 중계 정보를 활용하고 있다. 영상에서 투구수를 인식하고 문자중계 정보와 맵핑해 득점 시점을 정확히 파악하는 방식이다. 문자중계는 현장 경기를 거의 실시간으로 전달하지만, 생중계 영상은 조금 지연돼 송출된다. 따라서 두 소스의 싱크를 맞추는 게 가장 중요하다.

실제 경기와 생중계 영상 사이 시간차를 알기 위해 경기 시작 후 첫 번째 투구시점을 기준점으로 이용했다. 실제 경기에서 1구와 2구의 시간차, 1구와 3구의 시간차를 확인하고 영상 투구수와 싱크를 맞췄다는 설명이다.

지난해 7월에는 득점 하이라이트에 적용한 기반 기술을 활용해 '경기 풀영상 타석별 보기' 서비스를 오픈했다. 타석 영상 버튼을 클릭하면 풀영상에서 해당 타자의 첫구 위치 지점으로 이동한다. 응원하는 선수의 경기 장면을 다시보고 싶을 때 유용한 기능이다.

"AI 주요장면 하이라이트, 4월 개막전까지 성능 100점으로 끌어올릴 것"

AI TF 조직은 지난해 11월 포스트시즌에 맞춰 'AI 주요장면 하이라이트' 서비스를 선보였다. 삼진, 호수비, 진루타, 병살 등 주요 이벤트를 포함하면서, 불필요한 중간광고와 리플레이는 제거한 경기 요약 서비스다.

AI 주요장면 하이라이트에는 지금까지 축적한 기술을 총망라했고, 여기에 네이버 클로버 비디오팀과 협업을 통해 개발한 호수비 동작 인식 기술을 추가했다. 또, 광고와 리플레이를 제거하기 위한 장면분류 기술도 접목했다.

AI 주요장면 하이라이트의 가장 큰 강점은 빠른 생성 속도다. 사람이 수동으로 편집하면 경기 종료 후 30분 이상 걸렸던 것이 3분으로 단축됐다.

TF 조직 내부에서는 현재 AI 편집 품질을 80점 정도로 평가하고 있다. 오는 4월 3일로 예정된 2021 KBO 개막 경기부터는 AI 주요장면 하이라이트의 품질을 100점 수준으로 끌어올리는 것을 목표로 삼았다. 현재 정확도가 다소 떨어지는 호수비 인식률을 끌어올리는 것이 품질 개선을 위한 주요 과제다.

강경진 리더는 "호수비의 AI 평가 지표가 많이 높은 편이 아니라 품질을 높이는 게 주요 과제"라며 "특정 포즈에서 발생하는 관절 정보를 학습시켜 동작 인식률을 높이고, 더불어 호수비가 나왔을 때 해설자의 음성에서 정형화된 키워드를 캐치해 품질을 높일 계획"이라고 설명했다.

사람의 포즈 마다 다른 관절 정보가 존재한다. 다이빙 캐치나, 강한 송구 동작 등을 할 때 관절이 꺾는 조합을 분석하고, 이를 학습시키면 다양한 호수비 동작 인식을 개선할 수 있다. 여기에, 해설자가 음성을 텍스트로 변환해 '그림같은 다이빙캐치' '안타를 지우는 슈퍼캐치' 같은 발화가 나오는 시점을 확인하고, 정확도를 높이는 데 활용할 수 있다.