빅데이터는 링크드인 UX를 어떻게 바꿨나

비즈니스맨들을 위한 SNS로 자리잡은 링크드인이 가진 핵심 역량은 빅데이터 분석 기반 맞춤형 서비스다.

링크드인은 구직자에겐 흥미로운 채용공고를, 인재를 찾고 있는 기업회원에겐 적당한 후보자들을 추천해준다. 추천 서비스 내공만 놓고보면 링크드인이 글로벌 선두권 회사란데, 토를 다는 이는 많지 않을 것이다.

링크드인 추천 기능은 크게 4가지로 나눠진다. 친구추천, 스킬앤드인도어스먼트, 추천채용공고, 뉴스추천이 바로 그것이다. 이들 서비스에 녹아든 추천의 폭과 깊이는 아직도 진화에 진화를 거듭하고 있다. 이것은 사용자 경험(UX) 향상으로 이어진다.

링크드인이 빅데이터 분석에 기반해 수준높은 서비스를 제공할 수 있게 뒷받침하는 기술 인프라는, 바로 하둡이다.

링크드인 소프트웨어 엔지니어이자 데이터 사이언티스트로 근무하는 김형진씨는 지난달 네이버가 개최한 데뷰 개발자 컨퍼런스에 참석해 추천이란 예언이 아니라 예측을 하는 것이다며 링크드인은 이런 예측을 위해 머신러닝 알고리즘을 포함해, 하둡, 키밸류스토어, 기타 오픈소스 등에 기반한 빅데이터 생태계를 적극 활용한다고 말했다. 빅데이터 생태계는 링크드인이 가입자 이력서와 인맥과 같은 데이터를 통해 적절한 정보를 추천하는 서비스를 제공할 수 있는 핵심 기반이라는 설명이다.

링크드인이 이같은 서비스를 구현한 건 만만한 일이 아니었다. 대용량 데이터를 안정적으로 하둡 파일 시스템(HDFS)에 가져와 분석한 뒤 2억명이 넘는 사용자에게 만족할만한 결과물을 뿌려주는 건 하고 싶다고 할수 있는 성격의 일이 아니다.

링크드인의 분석 인프라는 4년전 제품 데이터를 생성하기 위해 노드(Node) 10여개와 하둡 클러스터를 설정하는 것으로 시작됐다. 다양한 서비스와 많은 사용자를 지원하기 위한 클러스터 크기는 지금 수천 개 노드로 확장됐다.

링크드인은 그동안 하둡을 사용하면서 확장성과 관련해 크고작은 문제에 직면했고, 결국 해법을 찾아냈다. 이와 관련한 구체적인 내용은 지디넷코리아가 19일 개최하는 ‘빅데이터 최신 기술과 차별화된 데이터 기반 비즈니스 전략’이라는 주제로 '제10회 어드밴스드컴퓨팅컨퍼런스(ACC)'를 통해 들을 수 있다.