데이터 분석 vs 사람 판단…아마존 실험은?

빅데이터 기술이 진화하면서 사람의 직관과 SW의 분석간 대결구도가 관전포인트가 됐다. 고난도 데이터 분석과 사람의 판단 중에 어떤 것이 정확하겠느냐는 싸움이다. 빅데이터 시대를 살아가는 이들에게, 흥미로우면서도 무시무시한 화두가 아닐 수 없다.

분석의 힘이 커진다는건 사람의 할일이 그만큼 줄어들 수 있음을 의미한다. SW분석이 진화하면서 단순 노동을 넘어 전문직 종사자들까지 덮칠 것이란 시나리오가 떠돌아 다닌지 오래다. 기계와 인간의 대결은 아직 현실화되지 않은 상상속의 그림일까?

최근 '아마존, 세상의 모든 것을 팝니다'를 읽다보니 SW분석과 사람의 판단간 대결은 아마존에서 있었고, 결과도 확실하게 나온 사건이다.

아마존에서 벌어진 싸움의 성격은 사용자들에게 상품을 추천하는 것과 관련해 편집자들이 직접 손맛을 버무린 콘텐츠와 알고리즘에 기반한 기계적인 추천간의 대결이었다.

그 결과? 기계의 일방적인 승리였다.

책의 일부 내용을 인용한다.

편집팀은 제품보다 멋진 글씨기를 이용하고 권장 제품에 대해 직관적인 결정을 내리며, 제품을 하나하나 다루었다. 개별 맞춤화팀은 말장난을 다 빼버리고 차갑고 확실한 데이터를 이용해 개별 고객을 위한 가상 가게를 지어, 통계적으로 고객들이 가장 구매할만한 제품으로 선반을 채웠다. 베조스는 어떤 팀을 더 선호한다는 것을 겉으로 드러내지 않은채, 테스트 결과를 주시했다. 시간이 흐름이 따라 사람의 힘으로는 부족하다는 것이 명확해졌다. 대부분의 편집자와 작가는 다른 부서로 전출되거나 정리해고 됐다.

아마봇이라는 알고리즘이 편집팀의 몰락을 가져왔다. 아마봇은 규격화된 배열에 자동으로 생성된 추천 목록을 넣어 지금까지 개인적으로 수작업된 부분을 대체했다. 이 시스템은 일련의 테스트를 손쉽게 이겼고 인간 편집자 만큼 많은 제품을 팔 수 있다는 것을 증명했다.

책을 읽다보니 데이터 분석이 갖는 영향력이 더욱 커지고 있음을 느끼게 된다. 이제 막연한 감만으로 버티기에는 무리가 있어 보인다. 아마존에서 터진 사건은 데이터에 친화적이지 못하고 막연한 감에 가까운 역량만으로 살아가는 기자 입장에선 좀 우울한 장면이다.

그렇다면 사람의 직관은 구시대의 유물로 봐야할까? 역시 아마존, 세상의 모든 것을 팝니다를 읽다보니, 직관이 갖는 힘이 여전하다는 것도 느끼게 된다. 그러나 조건이 있다. 어설픈 직관으로는 안된다는 것이다.

아마존은 알고리즘이 지배하고 있지만 회사를 이끄는 리더인 제프 베조스는 자신의 직관을 대단히 신봉하는 성격의 소유자다. 책속에 비친 그는 하루이틀을 위한 판단보다는 1년, 5년, 10년 후 미래에 대해 고민하고 의사 결정을 내린다.

여기에 영향을 미치는건 고난도 데이터 분석보다는 제프 베조스가 가진 신념과 직관이다. 고 스티브 잡스도 마찬가지다. 스티브 잡스가 데이터를 신봉한다는 얘기를 기자는 들어본적이 없다.

큰틀에서 보면 제프 베조스나 스티브 잡스 모두 직관주의자들이다. 데이터 분석의 힘이 커지는 시대, 세상을 들었다놨다하는 기업 리더들을 움직이는건 여전히 직관이라는 것이다.

아이러니한 상황으로 보고 싶지는 않다. 직관도 진화해야 한다는 것을 보여주는 메시지로 해석하고 싶다. 앞으로 데이터에 잡아먹히지 않고 살아남는 직관은 중저가가 아니라 스티브 잡스나 제프 베조스 등이 보여주는 고난도 직관이 될 것이다. 치열하게 고민하고 디테일에 집착하는 직관은 데이터의 시대에도, 잘 통하지 않을런지...데이터에 약한 기자의 오버액션일지 모르겠지만 조금 멀리 내다보는 것에 있어 직관은 여전히 유효해 보인다. 아마존이 이미 이런 분위기에서 돌아가고 있는 것 같다.

'아마존, 세상의 모든 것을 팝니다'는 아마존의 속살을 제대로 들여다볼 수 있는 책이다. 저널리스트인 저자는 밀착 취재를 통해 아마존의 비전을 넘어 파트너들에 대한 무지비한 요구와 보복 조치, 좋다고 할 수 없는 노동 조건 등 아마존의 그늘도 여과없이 보여준다. 책을 읽다보면 아마존에서 일하는 것이 만만치 않겠다는 생각을 절로 하게 된다. 아마존이 애플, 구글과 자웅을 겨룰만한 존재로 부상한 요즘, 읽어보면 도움이 될만한 책이다.