[제10회 ACC]맵알 "빅데이터, 단순함이 경쟁력이다"

“기업은 복잡한 것보다 단순한 알고리즘을 원한다. 빅데이터 시스템에서 단순함이 중요해지고 있다.”

알렌 데이 맵알테크놀로지스 선임 데이터사이언티스트는 19일 서울 잠실 롯데호텔에서 열린 '제10회 어드밴스드컴퓨팅컨퍼런스(ACC)' 현장에서 이같이 밝혔다.

알렌 데이는 “웹, 빅데이터, 사용자 등이 빅데이터 그룹으로 존재하는데 서로 같이 일하지 못하는 상황”이라며 “이 다른 사용자그룹을 통합시킬 기회가 있다”라고 말했다.

그는 “포식스 NFS는 기능성과 역량에서, 하둡은 확장성에서 장점을 갖고 있지만, 둘 중 하나를 선택해야 한다”라며 “맵알은 파일시스템을 통해 기능성과 역량, 확장성 모두를 만족시킨다”라고 강조했다.

맵알파일시스템은 빅데이터 수집, 처리, 저장, 분석, 시각화 등에 이르는 전반적인 사이클을 단순화해주는 핵심을 이룬다. 맵알파일시스템은 유닉스 코드 기반 애플리케이션과 HBASE와 곧바로 인터페이스를 연결한다. 레거시 애플리케이션을 그대로 사용하면서, 파일시스템(HDFS)를 거치지 않고 하둡 내 데이터 액세스를 가능하게 하는 구조다. 맵알파일시스템에 ETL과 분석, 시각화 도구를 연결하면 된다.

알렌 데이는 트위터 실시간 트렌드 분석을 설명하며 단순한 플랫폼의 힘을 설명했다.

트위터 API와 맵알파일시스템 트위터로거가 수집으로 연결되고, 파일시스템 상에서의 큐잉 결과가 아파치 스톰 클러스터로 연결된다. 이는 웹데이터로 저장된다.

그는 이어 맵알파일시스템을 사용하지 않고, 오픈소스 실시간 데이터처리엔진인 카프카를 이용한 사례를 설명했다. 이 경우 스톰과 카프카, 플럼, 하둡 등이 사용되는데, 그 구조가 매우 복잡해 장애 발생시 영향이 커진다고 설명했다.

그는 “실시간 분석시스템이 있지만, R&D 배치 분석 시스템이 추가돼야 할 필요가 있다”라며 “맵알파일시스템에 배치 분석 앱을 연결하는 식으로 가면 되므로 매우 쉽게 범위를 확장할 수 있다”고 강조했다.