빅데이터는 언제 나쁜 데이터로 변하나

빅데이터는 여러 분야에서 혁신의 엔진으로 거론된다. 그러나 올바르게 분석될 때만 혁신을 이끈다. 최근 발표된 한 의학계 연구는 통계분석 SW를 사용한 헬스케어 연구가 잘못된 결과를 도출한다는 사실을 밝혀냈다.

최근 미국 지디넷 컬럼니스트 로빈 해리스는 기능적MRI(Functional MRI) 연구에 사용된 통계분석 소프트웨어가 잘못된 결과를 냈다는 연구보고서를 소개했다.

[연구보고서 바로가기]

이 보고서는 분석 방법론 개발에 사용한 데이터가 현실과 다르기 때문에 최후에 잘못된 진단을 한다는 내용을 담았다.

fMRI는 자극에 두뇌 각 부분이 어떻게 반응하는가를 보여준다. 인간 두뇌를 연구하는데 fMRI를 사용한 논문은 지난 25년 사이 4만여건이다. fMRI에서 사용하는 통계SW는 실제 인간활동 시 두뇌 데이터 대신 가정과 시뮬레이션을 바탕으로 만들어졌다.

fMRI 연구에 사용되는 통계 분석 SW로 SPM OLS, FSL OLS, FSL FLAME1, AFNI OLS, AFNI 3dMEMA 등 5종이 검증대상이었다.

연구진은 인간 두뇌활동에 대한 실제 데이터를 분석했을 때 높은 위양성율(false positive rates)을 보였다고 밝혔다. 위양성율이란 건강한 사람을 검사에서 양성으로 잘못 판단하는 비율이다.

연구자들은 잘못된 기술을 활용함에 따라 70%의 위양성율을 얻었다고 적었다.

빅데이터 세계에서 통계 품질은 매우 중요한 문제다. 통계가 복잡할수록 고도로 숙련된 전문가라도 소프트웨어에 의존하게 된다. 그리고 소프트웨어로 도출된 결과를 신뢰한다.

앞서 소개된 논문은 의학계 연구방법에 대한 문제를 지적하지만, 빅데이터 세계 전반에 큰 시사점을 갖는다. 통계SW가 사용하는 방식 자체가 잘못됐을 수 있다는 것이다.

그 방식이 만들어질 때 가정과 시뮬레이션으로 만들어졌을 수 있다. 실제 데이터를 사용하지 않으므로 현실과 동떨어진 결과를 만들어낼 수 있다. 통계 방식이 실제 환경에서 검증되는 경우도 거의 없다.

데이터 스토리지 영역에 비슷한 예가 있다. 레이드(RAID) 어레이 데이터 손실률과 드라이브 장애는 무관하다는 오랜 주장이다. 이는 10년 간의 실증 연구를 거쳐 거짓으로 밝혀졌다. 그 사이 스토리지업체들은 거짓 가설을 바탕으로 수십억달러어치의 제품을 판매했다.

사용자는 빅데이터 분석을 하기 전 활용할 데이터 품질을 높이는 게 중요하다. 더불어 분석에 사용할 여러 방법론 자체를 면밀히 살펴봐야 한다. 빅데이터가 나쁜 데이터가 되는 시점은 아무렇지 않게 믿고 넘어가는 그 순간이다.