이화식 엔코아, "빅데이터, 2가지 길 있다"

이화식 엔코아 대표가 '빅데이터'에 대해 입을 열었다. 이 용어가 국내 데이터 관련 업계에 유행처럼 흘러든지 거의 2년만이다.

이 대표는 30여년 경력의 데이터베이스(DB) 전문가로 통한다. 지난 1997년 데이터컨설팅 전문업체 엔코아를 세워 공공, 금융, 유통 등 산업분야별로 다양한 프로젝트를 맡아 이끌어왔다. 직접 집필한 전문서적 '대용량DB솔루션'을 2010년 중국어판으로 출간후 지난해초 현지 법인을 세우고, 금융과 통신 등 주요 사업을 수주하는 등 해외 진출에 탄력을 받고 있다. 최근 국내 SW업체들과 동반진출 등 'IT한류' 비전 현실화를 꾀하고 있다.

새해 만난 이 대표로부터 DB컨설팅 전문가로서 바라본 빅데이터 화두와 국내 빅데이터 시장의 현황, 발전방향에 대해 들었다. 그간 수행한 컨설팅 경험과 국내 시장 환경의 특수성을 함께 언급하며 구체적인 설명과 가능성에 대해 들었다.

그에 따르면 빅데이터의 방향성에는 크게 2가지 시나리오가 있다. 하나는 일단 방대한 누적 데이터를 빠르고 효율적으로 '저장'하는 것이 목적인 경우, 다른 하나는 중대한 의사결정에 참고할 방대한 발생 데이터를 매우 빠른 시간내에 '분석'하는 게 목적인 경우다. 업계서 이 2가지는 잘 구분되지 않은 채, 빅데이터란 이름안에 뭉뚱그려지곤 했다. 이 대표는 간단한 비유로 각 개념의 차이를 설명했다.

■'핵폐기물 처리' 아니면 '사금 캐기'

데이터를 저장하는 목적이라면 흡사 '방사물폐기장을 어떻게 지을것인가' 같은 고민을 하게 되죠. 가급적 모두 저장해야 하고, 이왕 할거면 확장이 잘 돼야 하고, 리스크(위험도)를 최소화해야하고. 이 문제를 풀고 다음으로 재활용성을 높게 만드는 겁니다. '이왕 저장하는 거, 재처리해서 핵무기 만들자'는 식이죠. 쌓아둔 과거 데이터에서 분석을 통한 가치를 뽑아낼 수 있겠지만, 장담을 못합니다. 싸고, 쉽고, 재사용 가능한 기술이 맞겠죠.

여기에 들어맞는 사례는 널리 알려져 있다. 구글, 야후, 페이스북같은 글로벌 인터넷업체들의 운영환경이다. 이전까지 다뤄보지 못한 규모의 데이터는 전례 없는 '문제'를 낳았다. 정답은 없었다. 이들은 서비스운영을 위해 어쩔 수 없이 그때그때 필요한 기술을 만들어가며 대응했다.

이들은 고가의 장비와 상용 소프트웨어(SW)를 도입할 수 없기에 저렴한 하드웨어(HW)와 오픈소스SW 또는 자체 개발한 기술을 활용했다. 그 실용성은 어느정도 인정받았다. 기존 상용DB 또는 데이터웨어하우징(DW) 업체들도 그 데이터플랫폼과 오픈소스기술 하둡(Hadoop)이나 H베이스(HBase)간의 연결을 지원하는 게 이를 방증한다.

반면 중대한 의사결정이란 표현에는 이미 어느정도의 문제가 주어져 있다는 함의가 깔렸다. 관건은 해결에 필요한 데이터 처리기술의 즉시성과 정확성이다. 문제에 대해 더 빠르고 정확한 답을 뽑아내는 기술이 필요한 것이다. 실시간 데이터확인의 필요성에서 저장의 중요도는 상대적으로 덜하다.

저장 이슈와는 성격이 다른 목적으로 실시간 분석을 요하는 경우가 있어요. 당장 '전쟁에 이기느냐 지느냐', '환율이 올라가느냐 내려가느냐를 알아차리고 중대한 의사결정을 해야할 때죠. 이를 위해 몇초 또는 몇분 뒤 상황을 예측해야하고, 그러자면 바로 그 순간에 엄청나게 많은 데이터를 확인해야 돼요. 채산성문제죠. 물가 돌에서 '사금'을 뽑아 모으려면, 엄청나게 싸고 단위시간당 효율이 높은 기술이 있어야 하는데, 금광에서 금덩어리 채굴하던 방식으론 안 되는 겁니다.

실시간성을 강조하는 기술로는 SAP의 고성능분석어플라이언스(HANA)같은 인메모리 데이터플랫폼이 이름을 알리고 있다. HANA는 전체 데이터 저장환경을 메모리(DRAM)로 두고 이를 주기적으로 디스크에 백업하는 구조를 취한다. 다른 기업용 DB업체들이 디스크기반의 데이터처리 속도를 효율화하기 위해 메모리의 보조를 받는 것과 반대다. 메모리는 디스크보다 수십~수백배 빠른 입출력속도를 제공한다.

처리속도에 대한 요구는 기존 DB업계의 적극적인 대응으로 이어졌다. 오라클은 디스크보다 좀더 빠른 저장매체 플래시메모리(SSD) 용량을 키운 엑사데이터 DB머신을 선보였고, 마이크로소프트(MS)도 차세대 SQL서버에 인메모리트랜잭션을 도입하겠다고 예고했다. 국내서 알티베이스같은 인메모리DB업체도 신제품 XDB의 경쟁사 대비 속도를 강조하는 상황이고, 디스크DB 제품에 주력했던 티베로마저 인메모리 통합 기술을 연구중이라고 밝혔다.

■빅데이터 이전에 '문제'를 알아야

이 2가지 시나리오는 모두 기존 DB업체와 새로운 기술업계를 들썩인 빅데이터 이슈다. 오픈소스SW 진영과 상용HW, SW솔루션 업계를 가리지 않고 최근 2년간 빅데이터를 둘러싸고 많은 말들이 오갔다. 다만 기술을 도입한 각 사용자들이 실속을 차린 경우는 드물었다. 빅데이터가 뭔지도 모르고 덤빈 경우가 너무 많았다는 게 이 대표의 지적이다.

아주 우스운 상황이죠. 어느샌가 DB시장에서 '빅데이터' 얘기를 하지 않으면 촌놈이 된 것같은 분위기잖아요. 기업들이 뭔가 어려운 게 나왔는데 안 하면 뒤쳐질 것 같고, 부족하다 느끼는 자격지심 때문이겠죠. 본질을 잘 이해하고 필요한지, 아닌지, 확실히 판단해야 하는데 그러질 못하는 것 같아요. 명확한 정의보다는 막연한 추측만 갖고 접근하니까…

이 대표가 그간 빅데이터에 대해 침묵했던 까닭으로 보인다. 새해 들어서야 빅데이터에 대해 말문을 연 것은 어느정도 업계 상황이 정리되고 시장의 이해도가 일정수준 호전됐다는 얘기일까. 하지만 국내 빅데이터 업계가 빠르게 발전하길 기대하려면 아직 갈 길이 멀어 보인다. 시장이 원하는 기술을 공급하기만 할 게 아니라 사용자에게 알맞은 의사결정 환경을 조율해줄 수 있어야 한다는 게 그의 생각이다.

과거 IT의 행위는 비행기 조종석의 계기판을 만들어주는 식이었죠. 날아갈 방향과 속도를 판단할 수 있도록 동체의 모든 정보를 모아서 표시해주고, 외부 환경은 조종석에서 육안으로 볼 수 있도록 창문도 뚫어놓고요. 이 방식은 의사결정권자를 '아주 고도의 훈련을 받은 우수한 조종사'로 전제한 건데, 최고경영자(CEO)들의 감에 의존하는 비중이 큰 국내 실정과 안 맞죠.

그가 제안하는 '미래 IT의 행위'는 온갖 정보를 눈앞에 갖다놓기만 하는 게 아니라 언제 어떤 항목이 유용할 것인지도 제안할 수 있어야 한다는 것이다. 의사결정에 도움을 줄 수 있는 기업내 현황과 그 바깥에서 벌어지는 관련 변수들을 아울러서다. 기업이 어떤 문제에 대해 어떤 접근법을 취해 어떤 데이터를 기반으로 의사결정을 진행할지 조언하는 방식이 될 듯하다.