멜론이 빅데이터 기술로 기대하는 3가지

멜론이 2년간의 준비를 마치고 빅데이터 분석 기술을 적용한 서비스를 최근 공개했다. 멜론은 대형 IT업체로부터 솔루션을 구입해서 빅데이터 인프라를 구축한 게 아니라 오픈소스 소프트웨어 기술을 활용해 서비스를 구현했다.

빅데이터 기술로 효과를 제대로 보려면 기술 내재화가 필수라는 판단에서였다. 다른 IT프로젝트는 외부 업체에 맡겨도 좋을지 모르겠지만 빅데이터의 경우 얘기가 달라진다.

외부 업체에 맡겨서 인프라를 구축한뒤 내부에서 운영한다는 개념은 먹혀들지 않을때가 많다. 빅데이터 플랫폼에 대한 이해없이 제대로 쓰기가 쉽지 않다는 얘기다. 멜론이 품이 좀 들더라도 인프라 구축부터 운영에 이르는 과정을 직접 챙기기로 한 것도 바로 이 때문이다.

멜론이 처음 빅데이터에 관심을 가지게 된 이유는 비즈니스적인 요구가 있었기 때문이다. 사용자와 음원 권리사(기획사,가수)를 연결해주는 마케팅 플랫폼으로 거듭나야 한다는 전사적 전략 아래 기술적인 뒷받침이 필요했다.

IT그룹의 미션은 '이런 요구를 기술적으로 어떻게 구현해 내느냐'였다. 고민이 시작된 게 2년전이다.

멜론은 기존에도 데이터 분석을 위해 상용 데이터웨어하우스(DW)를 구축하고 사용자들의 구매 이력 등 매출과 관련된 사항에 대한 통계를 보고 있었다. 그러나 기존 방식으로 하루에 1테라바이트(TB)씩 생성되는 사용이력 데이터 전체를 처리하려면 아키텍처 도입과 유지비용이 만만치 않았다.

로엔엔터테인먼트 멜론사업본부 IT그룹 김강석 그룹장은 이렇게 말한다.

“기술적인 검토를 하면 할 수록, 이 문제를 풀 방법은 빅데이터 밖에 없더라고요. 그러면 빅데이터를 ‘어떻게 도입할 것이냐’는 고민으로 이어졌어요. 중장기적 관점에서 외부 솔루션을 구입해서 운영유지를 하는 모델이 아닌, 자체적인 내제화를 해야 하는 문제라고 결론을 내렸어요.”김강석 그룹장은 빅데이터 기술이 한번 도입하고 끝나는 것이 아닌 데이터 마이닝(분석) 과정을 거쳐서 계속 새로운 인사이트를 발굴해 내는 사이클 안에서 이뤄져야 하기 때문에 전적으로 외부업체에 맡기는 게 어렵다고 판단했다고 설명했다.

그러나 혼자 모든 것을 직접하기는 무리였다. 멜론은 빅데이터전문 업체 그루터와 손을 잡았다.

“그루터 역시 SI에서 갑을 관계하듯이 빅데이터를 도입해서 유지보수 해나가는 모양은 바람직하지 않다고 조언해 주더라고요. 결국은 운영에 대한 내재화가 필요하다는 얘기였어요. 그런 면에서 진정성을 느꼈고 같이 프로젝트를 진행할 만한 파트너라고 생각했어요.”

멜론은 2년간 그루터의 도움을 받아 하둡, H베이스, 하이브, 스쿱, 플럼 등으로 구성된 하둡 에코 시스템을 도입하고 멜론 개발조직에 기술을 내재화 했다.

하둡 플랫폼 위에서 멜론은 2천400만 명의 고객이 지난 10년간 음원을 소비한 이력과 이용 행태 등을 분석할 수있게 됐다. 김 그룹장은 이를 통해 이뤄낸 비즈니스적 효과를 3가지 측면에서 설명했다.

첫 번째는 사용자 측면에서 가치를 전달할 수있는 새로운 서비스를 제공하게 됐다는 점이다. 사용자가 본 영상, 음원 스트리밍 다운로드, 댓글, 좋아요 같은 활동을 분석해 사용자와 아티스트간의 친밀도를 온도로 보여주는 '팬 소비지수'를 선보인 게 대표적이다. 예컨대 ‘당신은 아이유에 관심 있는 팬 660만 명중에 몇 등입니다’라는 정보를 재미있게 보여줄 수 있다.

실시간 차트도 실제 실시간에 가깝게 진화했다. 실시간 차트는 내가 좋아하는 아티스트가 몇 등 하는지 궁금해 하는 팬덤 사이에서 상당히 민감하게 관심을 가지고 있는 서비스다. 음악 업계에서 모두 제공하고 있지만 그동안은 실시간이 아닌 시간별 차트에 가까웠다. 멜론은 이 차트를 플럼을 이용해 5분마다 만들어 실시간성을 높였고 차트 예측도 가능하게 했다.

김 그룹장은 “몇 년 동안 서비스와 비즈니스의 구조적인 측면만 고민을 했기 때문에 실제 제공하는 서비스는 완성된 것이 아니라 이제부터 더 새롭게 개발해야 하는 부분이 더 많다”고 설명했다.

하둡 플랫폼 도입을 통해 얻은 두 번째 효과는 음원 권리사들에게 멜론을 통해 소비자 반응을 알려줄 수 있게 됐다는 점이다.

“하루 스트리밍 건수만 수천만이에요. 그런 대규모 트래픽을 가지고 정제된 요건으로 리포트를 만들어서 파트너사에 제공할 수 있게 됐죠. 파트너사들이 타겟 마케팅적 관점에서 활용할 수 있도록 통계정보만 오픈한 것이 아니고 현재 고객군, 잠재 고객군 등 몇 가지 분류로 타케팅해서 직접 이들에게 마케팅 메시지를 던질 수 있게까지 했어요”

이런 마케팅 활동이 가능하도록 파트너 센터라는 시스템을 개발해 제공했다. 파트너사들은 이 시스템을 이용해 사용자 ‘소식함’에 관심 있을 만한 아티스트의 신규 앨범 발매 정보, 새로 공개된 동영상 콘텐츠 같은 것을 자동으로 전달 할 수 있다. 또 거기에 대한 사용자 반응 볼 수 있도록 통계 피드백도 확인할 수 있다.

김 그룹장은 “IT적인 관점에서 빅데이터를 도입한 것이 아니라 비즈니스 솔루션으로 도입했기 때문에 비교적 서비스에 기술이 잘 녹아 있고 음원 권리사 들과 함께 생태계를 만들어간다는 측면에서 의미가 있다고 자체적으로 평가하고 있다”고 말했다.

멜론은 다음주에 안드로이드 애플리케이션에도 새로운 기능들을 업데이트할 예정이다. 아이폰은 이달 안에 업데이트를 계획하고 있다.