[제7회 ACC]HP "왜 의미를 이해하는 검색인가"

지난해 1년동안 1.8제타바이트의 정보가 생성됐다. 트위터는 매일 7테라바이트의 데이터를 토해낸다. 2020년이면 데이터는 35제타바이트에 이른다.

크기뿐 아니라 빅데이터는 과거 구조화된 데이터와 전혀 다른 대응방식을 요구한다. 대규모의 다양한 데이터를 찾아내 모으고, 신속하게 실시간으로 분석해야 한다. 무엇보다, 사용자가 원하는 정보를 곧바로 정확하게 제공해야 빅데이터에 올바르게 대응할 수 있다.

전통적인 방식으론 뚜렷한 한계를 맞을 수밖에 없는 상황. HP는 여기서 정확한 정보검색과 실시간 분석, 효율적인 인프라를 조언한다.

남양섭 한국HP 부장은 15일 열린 ‘제7회 ACC' 행사에서 빅데이터와 전통적인 분석환경의 차이를 설명하며 검색과 실시간이란 키워드를 꺼냈다.

HP는 지난해 의미기반 검색솔루션을 갖고 있는 오토노미와, 퓨어 MPP 기반 컬럼 DBMS ‘버티카’를 인수했다.

오토노미는 지능형 검색엔진으로 단어와 문장의 의미를 기반으로 사용자가 원하는 최적의 정보를 찾아준다. 다양한 정형 및 비정형 데이터를 대용량으로 검색해, 효율적이고 정확한 분석을 수행하도록 한다.

남양섭 부장은 “검색의 경우 의미를 파악하지 못하고, 요점을 이해하지 못해, 원하는 형태의 결과를 얻지 못하곤 한다”라며 “빅데이터에서 정확하게 요구하는 정보를 제공하는 게 키워드다”라고 설명했다.

버티카는 퓨어 MPP머신 기반 하드웨어에 컬럼 기반 데이터웨어하우징(DW) 플랫폼으로 정형 데이터의 분석을 실시간으로 제공한다.

아파치 하둡과 연계하는 커넥터를 통해 정형데이터와 비정형 데이터를 효과적으로 분석할 수 있다. 하드웨어는 고효율 압축으로 입출력(I/O)을 최소화하며, 속도를 높여 실시간 BI를 실현한다.

HP는 오토노미에서 제공하는 정보 처리 레이어(IDOL)와 버티카의 실시간 분석 엔진을 조합한다. 비구조화된 정보를 데이터베이스 정보와 함께 동일한 방식으로 100% 분석할 수 있도록 한다.

남 부장은 “대용량, 신속성, 다양성, 복잡성 등의 도전과제를 해결하려면, 대용량의 데이터를 효율적으로 관리하고 이로부터 가치를 찾아야 한다”라며 “새로운 검색과 분석 기술이 필요한 시점이다”라고 말했다.