[제9회 ACC]퀀텀, "신개념 스토리지 필요한 때"

빅데이터 시대에는 그에 맞는 고성능 스토리지와 이를 효율적으로 관리할 수 있는 솔루션이 필요합니다.

심형보 퀀텀코리아 시스템 총괄 이사는 17일 서울 잠심 롯데호텔에서 열린 '제9회 ACC' 현장에서 빅데이터 시대 스토리지 전략으로 고성능, 중앙집중식관리에 주목했다.

심 이사는 현재 빅데이터 기술이 활용되고 있는 곳을 4가지 분야로 나눴다.

먼서 미디어와 엔터테인먼트 분야다. 고화질의 콘텐츠를 수집하고, 이를 저장해 편집, 가공하고 소비자들에게 TV, PC, 스마트기기 등을 통해 전달하고, 다시 아카이빙하는 일련의 과정이 있다. 심 이사는 이 시장에서 빅데이터 이용자들이 화질 경쟁을 벌이면서 처리해야하는 데이터 용량은 더 커질 것이라고 밝혔다. 이 시장은 다른 분야보다 훨씬 높은 수준의 데이터 처리 능력을 필요로 한다.

두번째로는 정부부문이다. 미국은 버락 오바마 대통령이 지난해 빅데이터 관련 포럼을 주도적으로 개최했을 정도로 국민들의 요구사항을 반영하기 위해 이 기술을 적용하려는 욕구가 강하다. 세번째는 생명과학과 헬스케어 분야다. 이 분야는 가장 많은 데이터가 새롭게 생기는 분야로 매년 200% 이상 데이터 용량이 늘어나고 있다. 실제로 유전자를 분석하는 지놈프로젝트에 빅데이터 분석툴인 하둡이 처음 적용되기도 했다. 네번째가 천연자원 분야다. 탐사나 지질조사 과정에 빅데이터 분석기법이 적용돼 지표를 2D나 3D로 변환해 어느 곳을 시추할 지를 분석해내는 식이다.

빅데이터 시장은 점차 커지고 있는 추세에 맞춰 이를 저장하기 위한 스토리지 영역에서도 새로운 접근이 필요하다. 심 이사는 기존에 단순히 아카이빙 기능만 가진 전통적인 스토리지만으로는 새로운 기술에 대응할 수 없다고 밝혔다.

퀀텀이 내세운 해결방법은 우선 고성능 파일 공유시스템 '스토어넥스트'를 활용하는 방법이다. 이는 빅데이터를 효과적으로 관리할 수 있도록 안정적으로 지원하는 솔루션이라고 심 이사는 설명했다.

특히 미디어나 엔터테인먼트 분야와 같이 대용량의 데이터가 빠르게 오가는 곳에서 활용성이 높은 방법이라고 심 이사는 설명했다. 주로 미디어와 엔터테인먼트, 생명과학, 정부 및 정유와 같은 빅데이터 집약 산업 군에 보다 적합하다는 것이다.

IDC에 따르면 지난해 80%의 스토리지에 저장된 데이터들이 모두 파일이나 블록 등에 기반한 데이터들이었다. 여전히 스토리지를 통한 데이터 저장이 중요하다는 설명이다.

그러나 전통적인 스토리지는 RAID를 기반으로 했기 때문에 고비용에 복잡한 구조를 감당해야만 했다. 비트에러를 감지하고 복원하는 기능도 취약했다. 이와 관련 심 이사는 '와이드 에어리어 스토리지'라는 새로운 접근법이 필요하다고 밝혔다.

500테라바이트에서 페타바이트급 이상의 대규모 확장성 비정형 데이터를 처리하기 위해 설계된 이 방식은 기존에 담당자가 설정한 정책을 기반으로 비트 에러로 인한 데이터 손상을 제거하고, 스토리지의 효율성이 RAID 방식보다 50% 가량 절감된다는 것이다.

심 이사는 빅데이터의 경우 GB/s의 처리량을 확보할 수 있고, 데이터 무결성을 보증하기 위한 자기치유관리 기능도 적용됐다고 밝혔다. 데이터를 분석하는 것만큼 얼마나 잘 처리할 수 있는가가 중요하다는 것이 퀀텀이 바라보는 빅데이터이다.

심 이사는 빅데이터는 마치 원유와 같다며 정제되지 않으면 무의미하고, 가공했을 때 가치가 높아진다고 밝혔다. 이를 위해 가공과정을 효율적으로 관리하는 것이 스토리지의 역할이라는 설명이다.