똑똑한 AI는 '퀸' 팬에게 음악 추천 어떻게 할까

영국 록 그룹 퀸이 부른 ‘보헤미안랩소디’는 록·오페라·헤비메탈 등 장르가 혼합된 곡이다. 이 곡을 들은 이용자에 대해 인공지능(AI) 기반 선곡 기술은 다음 곡으로 어떤 음악을 추천해줄까?

남주한 카이스트 교수는 5일 네이버 주최로 열린 ‘AI 콜로키움’ 행사에서 ‘딥러닝을 이용한 오디오기반 음악 추천’이란 주제로 발표했다.

남주한 교수에 따르면, 최신 AI 선곡 알고리즘을 이해하기 위해서는 AI 추천 시스템을 이루는 큰 두 축인 ‘협업 필터링 기반 추천’과 ‘내용 기반 추천’을 먼저 알아야 한다.

협업 필터링이란 가령 이용자 A에게 AI가 음악을 추천해줄 경우, A와 인적 요소가 비슷한 B가 들은 음악 중 A가 이전에 듣지 않은 음악을 추천해주는 것을 뜻한다. 인기곡 중심으로 추천해주게 되며, 이제 막 출시된 음원의 경우 이를 들은 사용자가 별로 없어 추천되기 어렵다. 다양한 장르에 대한 선곡이 어려워, 예를 들어 콜드플레이 곡을 좋아하는 사용자에게 콜드플레이가 부른 다른 곡만 추천해줄 수 있는 허점이 있다.

내용 기반 추천을 위해서는 오디오 정보를 장르, 무드, 악기 등 요소를 특정 단어로 표현할 수 있어야 한다. 반복적인 데이터화 과정엔 머신러닝 기술이 사용된다. 인기도에 관계없이 비슷한 음향 성분을 기반으로 선곡하는 게 가능하다.

남 교수는 “1999년 미국 판도라라는 인터넷 라디오 서비스가 음악의 DNA를 분석하는 프로젝트를 시작해 450가지 음악 특징을 정의했고 이를 기반으로 자동 선곡 해줬다”며 “하지만 음악 분석에 필요한 비용과 시간이 많이 들었다”고 설명했다.

아울러 내용 기반 추천으로는 음향 성분이 같더라도 이용자 취향과는 맞지 않는 노래가 나올 수 있다. 가령 여성 그룹 ‘마마무’의 경쾌한 곡을 기준으로 다른 유명 케이팝 가수의 노래를 추천받길 원했는데, 곡 요소만 같을 뿐 전혀 유명하지 않은 가수의 노래가 나올 수 있다.

이에 남 교수는 각 추천 기술의 단점을 보완한 하이브리드 추천 시스템을 사용할 수 있다고 강조했다. 네이버의 ‘바이브’, 해외 유명 음원 스트리밍 서비스 ‘스포티파이’ 등이 하이브리드 추천 방식을 사용한다.

하이브리드 추천 시스템을 사용할 때 기존 내용 기반 추천 방식을 좀 더 개선한 버전도 있다. 기존 내용 기반 추천으로는 각 곡에 대한 성분 분석도 오래 걸리며, 무드의 경우 주관적으로 평가될 수 있었다. 혼합된 장르의 곡에 대해서도 마찬가지다. 보헤미안랩소디를 들은 이용자에게 AI가 어떤 곡을 추천해줄지 수준의 문제도 이 지점에서 발생한다.

남 교수는 “퀸의 보헤미안랩소디의 장르를 어떻게 정의해야 하는지 힘들고, 무드도 특성 자체가 주관적이다”며 “이 경우 시간이 너무 걸리고 비용이 많이 들어 판도라 서비스에서의 문제와 같은 현상이 나타난다”고 말했다.

이어 “이런 문제점 때문에 아티스트를 하나의 작은 장르로 보기로 했다”면서 “아티스트는 객관적 정보고, 정보 값 입력에 큰 비용이 들지 않는다”고 덧붙였다.