빅데이터가 뜨면서 날 데이터에서 의미있는 메시지를 찾아 내는 일을 하는 데이터사이언티스트가 주목받는 직종으로 부상했다. 글로벌 기업들에서 데이터사이언티스트들은 이미 경영 전략에 직접적인 영향을 미치기 시작했다. 경험에 기반한 경영진의 직관보다 데이터사이언티스트들의 분석이 입김을 발휘하는 회사들도 있다.
한국도 데이터 사이언티스트에 관심이 고조되는 분위기다. 정부도 데이터사이언티스트 양성이라는 슬로건을 내걸었다.
앞에서 데이터사이언티스트는 데이터를 분석해서 의미있는 메시지를 찾아내는 일을 하는 사람이라고 했다. 한줄 요약만 보면 헷갈릴게 없어 보이는 일이다. 그러나 각론으로 파고들면 모호한 측면이 적지 않다. 새로 만들어진 직종이다 보니 이거다 거저다 하는 식의 얘기들이 오가는 게 현실이다.
데이터사이언티스트는 구체적으로 어떤 일을 하는 사람인가?
이와 관련해 본지는 빅데이터 전문 업체 피보탈에서 데이터사이언티스트로 활약하고 있는 그레그 월렌 디렉터를 최근 인터뷰했다.
그에 따르면 데이터사이언티스트는 데이터를 갖고 비즈니스에 필요한 것을 찾아내고 예측하는 것이 핵심 역할이다. 데이터 분석만 잘한다고 데이터 사이언티스트 대접을 받을 수는 없다. 비즈니스에 연결시키는 것이 중요하다.
엔지니어는 특정 분야 전문가인 경우가 많다.
반면 데이터사이언티스트들은 특정 분야 전문가들과 협업한다. 엔지니어들은 10테라바이트(TB) 데이터를 갖고 분석은 잘할 수 있겠지만 10GB 데이터만으로 비즈니스에 필요한 뭔가를 찾아내는 것은 데이터사이언티스트의 몫이다.
이 대목에서 월렌 디렉터는 소프트웨어를 강조했다.
데이터사이언티스트는 빠르게 분석해서 결과물을 다양한 비즈니스 애플리케이션에 반영시켜야 한다는 의미였다. 비즈니스 애플리케이션을 지능적으로 만드는 데 집중해야 한다는 설명이다. 그는 "데이터사이언티스트 업무에서 비즈니스 인텔리전스(BI) 리포트를 갖고 보고서로 만들어 내는 것은 중요치 않다"고 잘라 말했다.
얼마전 모 업체 관계자로부터 한국과 미국 데이터사이언티스트들은 스타일이 다소 다르다는 얘기를 들었다. 미국 데이터사이언티스트들은 DB 쿼리 날리는 것 등 기술적인 소양을 어느정도 갖춘 것이 일반적인 데 반해 한국은 엔지니어들에게 의존하는 성향이 상대적으로 강하다는 것이었다.
데이터사이언티스트는 기술적으로 어느정도까지 파고들어야할까?
월렌 디렉터에 따르면 데이타사이언티스트는 원하는 질문에 혼자 답할 수 있는 기술을 갖출 필요가 있다. SQL 언어, 라이브러리 기능, 통계 분석 언어인 R, 파이썬과 같은 스크립트 언저 정도는 소화할 수 있어야 한다는 것이다. 쿼리나 비즈니스 지표를 만들어내는것은 데이터사이언티스트의 영역이라는 것이 그의 설명이다.
월렌 디렉터는 SW개발자로 시작해 데이터사이언티스트가 되었다. 박사 과정 밟을 때 머신러닝 관련 프로젝트에 참여했고, 이후 데이터 기반으로 온라인 광고를 제공하는 일을 하면서, 데이터 중심적인 SW 전문가로 영역을 넓혔다. 그가 데이터사이언티스트로 변신하는데 있어 중요한 역할을 한 것은 머신러닝이었다.
머신러닝은 인공 지능의 한 분야로 컴퓨터가 데이터를 통해 학습하고 사람처럼 어떤 대상 혹은 상황을 이해할 수 있게 하는 기술이다. 스스로 학습할 수 있는 컴퓨터가 사용자를 이해한다면 이전에 할 수 없었던 방식의 서비스가 가능해진다는게 업계 설명이다. 머신러닝은 컴퓨터가 데이터를 분석할 수 있게 하는 알고리즘을 짜는 것이 핵심이다. 데이터를 활용하는 알고리즘을 정교하게 만들면 컴퓨터가 스스로 학습해가며 사용자들에게 의미있는 결과물을 제공할 수 있다는 것이다.
머신러닝에서 데이터사이언티스트의 역할은 절대적이다. 월렌 디렉터는 헬스케어 분야를 예로 들며 "데이터사이언티스트는 환자가 추가적인 치료가 필요할 경우 언제 해야 하는지, 어떻게 해야 하는지 예측하고 이를 애플리케이션에서 활용할 수 있는 기능으로 제공하는 일을 한다"고 말했다. 머신러닝에서도 데이터사이언티스트는 애플리케이션에 연결하는 것이 핵심 역할이란 얘기다
관련기사
- "데이터사이언스, 애플리케이션에 녹여라"2015.09.08
- 피보탈, 새 CEO 선임2015.09.08
- 클라우데라 하둡, EMC도 판다2015.09.08
- 기업 PaaS 도입 바람, 한국은 언제쯤?2015.09.08
여기저기에서 데이터사이언티스트를 양성하자는 함성소리가 들리고 있지만 데이터사이언티스트는 교육을 통해 뚝딱 만들어지는 성격의 일이 아니다. 다양한 프로젝트 경험을 통해 탄생하는 직종의 일이다.
월렌 디렉터는 "교육으로 시작하더라도 다양한 실제 프로젝트를 해보는 것이 중요하다"면서 "피보탈도 데이터사이언티스트 채용할때 이력서를 보는 것이 아니라 문제를 해결할수 있는지를 그 자리에서 검증한다"고 말했다.