HP SL4500, 하둡을 위한 x86서버의 자세

“하드웨어가 빅데이터에서 가져야 할 특징은 편하게 하둡 환경을 구축하도록 하는 것이다. 사용자가 데이터에 집중해야 하지, 하드웨어에 신경을 쓰면 안 된다.”

한국HP 인더스트리스탠더드서버(ISS)사업부의 정석원 차장은 최근 출시된 HP 프로라이언트 SL4500 서버의 특징을 이같이 요약했다.

프로라이언트 SL4500 Gen8(아르고스)은 내장 스토리지 용량을 최대화하면서 공간과 전력 소모를 최소화한 x86서버다. 모듈형 디자인을 채택한 이 제품은 4.3U 높이 인클로저에 2소켓 인텔, AMD 프로세서 서버를 1~3대까지 장착할 수 있다.

SL4500은 CPU와 메모리, OS용 디스크를 담은 서버 노드와, 스토리지 공간을 기본으로, RAID 컨트롤러, IO모듈, 전원장치 등으로 구성된다.

■스토리지 용량보다 관리 편의성 제공이 초점

HP는 SL4500을 하이퍼스케일과 빅데이터 애플리케이션을 위한 서버라고 설명했다. 섀시에 최대 60개의 디스크를 장착할 수 있게 함으로써 스토리지 용량에 초점을 맞췄다. HP는 이 서버를 오픈스택의 오브젝트 스토리지 ‘스위프트’, 마이크로소프트 익스체인지서버, 클라우데라·호튼웍스·아파치 하둡 등에 최적화시켰다고 강조했다.

정석원 차장은 단순히 스토리지 용량만 최대화했다고 빅데이터용 서버라 한 건 아니라고 설명했다. 눈에 보이는 디스크 개수보다 그 뒤에 빅데이터 처리에 유용할 기능이 존재한다는 것이다.

그는 가장 주목해야 할 부분으로 프로라이언트 Gen8부터 도입된 관리 기능을 꼽았다. 프로라이언트 Gen8은 사용자 편의를 고려한 자동화된 여러 관리 기능을 제공한다. 센서를 이용한 장애사전감지 기능 프로액티브인사이트매니저, 장애 징후 감지 시 디스크를 사전 복제해두는 프레딕티브스페어액티베이션 등이 있다.

이 가운데 프레딕티브 스페어 액티베이션이 빅데이터와 하둡에 유용한 기능이다. 하둡을 구동할 경우 디스크 일부의 장애가 전체 시스템 장애로 이어지는 경우가 허다하다.

하둡은 기본 3개의 데이터 원본을 복제해 분산저장하는데, 데이터 읽기 시 3개 디스크 각각에서 조합해 사용한다. 각 복제본 중 한 디스크가 고장나면, 또 다른 디스크에 백업본을 저장하는 과정을 거친다. 원상복구를 위한 데이터 백업과 데이터 조합이 수시로 이뤄지므로 사소한 디스크 장애가 전체 시스템의 성능저하로 이어지는 것이다.

SL4500은 디스크의 상태를 실시간으로 모니터하면서, 장애 징후를 발견하면 해당 디스크의 데이터를 다른 디스크에 복제해둔다. 원본 디스크의 장애 발생 시 준비해둔 백업본으로 즉시 대체하게 한다.

SL4500은 이와 함께 리눅스 사용자에게 클러스터매니지유틸리티(CMU)란 SW를 제공한다. 각 서버 클러스터의 노드 상태를 관리할 수 있는 SW다. 그동안 HP가 고성능컴퓨팅(HPC)의 대규모 클러스터 환경을 제어하는데 제공해왔던 것이다.

정 차장은 “CMU는 HP의 오랜 서버 클러스터 운영 노하우를 담았다”라며 “OS 배포뿐 아니라 워크로드의 특정 노드 집중을 실시간으로 분석해서 분산시킬 수 있다”라고 설명했다.

이같은 기능은 하둡 구축의 근본적인 어려움인 하드웨어 관리에 대한 수고를 덜어줄 수 있다. 하둡은 여러 노드 중 어느 부분의 장애인지, 운영체제나 애플리케이션 코드의 문제인지를 찾아내기 어렵다. 정 차장은 “SL4500을 사용하면 최소한 하드웨어 문제점은 빠르게 찾아낼 수 있을 것”이라며 “사용자는 하드웨어보다 소프트웨어 문제에 집중하면 된다”고 강조했다.

이밖에 선 상태에서 디스크를 핫스왑할 수 있고, I/O모듈을 1GbE과 10GbE을 유연하게 사용할 수 있다. RAID컨트롤러의 백업 작업 중에 물리적으로 디스크를 제거하지 못하게 하는 스마트 디스크 기능도 제공된다.

■SL4500을 클라우데라 하둡에 사용하는 구성 예시

SL4500은 현재 오브젝트 스토리지용 1노드 모델, 상용 분석 애플리케이션용 2노드 모델만 출시된 상태다. 하둡을 위한 3노드 모델은 올해 상반기 중 출시된다. 하둡을 위한 3노드 구성의 SL4500은 노드당 15개의 디스크를 장착하는 것으로 최적화됐다.

정 차장은 SL4500 3노드 모델을 클라우데라 하둡에 사용할 경우에 효율적인 시스템 하드웨어 구성 예시를 제공했다.

그에 따르면, 하둡 시스템은 HP 프로라이언트 DL380p Gen8과, SL4540(인텔 CPU 탑재모델), 레드햇엔터프라이즈리눅스(RHEL) 6.X 버전, 클라우테라하둡(CDH)4 버전으로 구성된다.

개발용으로 시작하는 경우는 DL380p 한대와, 1기가비트이더넷(GbE) 스위치 1대, 2대의 SL4500을 사용한다.

마스터노드 서버의 CPU는 인텔의 6코어 제온 E5-2630 2개와 P420i 스마트어레이 RAID 컨트롤러, 1기가비트이더넷(GbE) 네트워크, 1테라바이트(TB) SFF SAS 4개, 64GB DDR3 메모리를 사용한다.

2대의 SL4500 중 한 개의 노드는 NFS서버로 2소켓 인텔 제온 E5-2440(6코어, 2.4GHz), 1TB SAS 15개(7200rpm), 64GB DDR3 메모리를 사용한다. 나머지 5개 노드는 하둡 슬레이브 노드 용으로 동일 하드웨어 사양에 클라우데라하둡(CDH) 4.0을 설치한다.

현업에 시범 도입하는 경우는 DL380 2대를 마스터노드로 두고, 1GbE 스위치 2대로 네트워크를 이중화한다. SL4500은 3대를 사용하는데, 1개의 NFS서버와 8개의 슬레이브 노드로 구성한다. 하드웨어 세부 사양은 개발단계구성과 같다.

하둡을 현업전체에 전면도입하는 경우는 마스터노드로 DL380p 2대와 10GbE 스위치 2대로 이중화한다. 여기에 SL4500 1대의 3 노드를 클라우데라 매니저 서버, NFS 서버, 백업서버 등으로 각각 1개 노드씩 구성하고, 슬레이브노드의 SL4500 수만 늘려가면 된다.

이 때 마스터노드의 CPU 사양은 변하지 않지만, 디스크와 메모리 사양은 더 성능을 높여야 한다. 정 차장은 900GB SAS(10000rpm) 디스크를 4대와 128GB DDR3 메모리 사용을 추천했다. 슬레이브노드의 하드웨어 사양은 전과 동일하다.

정 차장은 “이같은 구성은 예시일 뿐이며, 여러 시험을 통해 3~4TB와 다양한 컨피규레이션으로 활용될 수 있을 것”이라 밝혔다.

그는 마지막으로 하드웨어 제조사로서 SW사용에 집중하게 하기 위한 배려를 담았다는 점을 강조했다. 그는 “SL4500은 간단히 구축해 1차 검증한 후 선형적으로 규모를 쉽게 늘려갈 수 있도록 설계된 만큼 사용자의 하둡 시작을 쉽게 해주는 쐐기 역할을 할 것”이라며 “가격도 서버 외에 IO모듈, 전원장치, ILO모듈 등을 합친 것으로 일반적인 x86과 JBOD 구성보다 훨씬 저렴하다”라고 설명했다.

그는 “HP를 통해 하드웨어 구입과 유지보수에 들일 돈을 소프트웨어 개발, 활용, 데이터 과학자 육성 등에 사용할 수 있으면 한다”고 덧붙였다.