슈퍼컴퓨터용 인텔칩 확산 가속될까

오픈소스 프레임워크 'OpenHPC' 프로젝트 출범

슈퍼컴퓨터의 애플리케이션 개발을 쉽게 만들기 위한 오픈소스 프로젝트가 공식 출범했다. 미국 연례 컨퍼런스 '슈퍼컴퓨팅(SC)' 현장에서 발족한 프로젝트에 인텔기반 주요 고성능컴퓨팅(HPC) 기술업체와 연구기관이 함께 창립멤버로 이름을 걸었다. 리눅스재단 협력프로젝트 '오픈HPC(OpenHPC)' 얘기다.

오픈HPC 프로젝트는 인텔이 자사 프로세서 시장 입지를 빼앗을 기회를 노리고 있는 IBM의 고립을 촉진할 가능성도 보여 준다. 파워 아키텍처의 주인 IBM과 그 칩 기반 시스템 기술을 개발하는 파트너들은 오픈HPC 프로젝트에 발을 들이지 않은 상태이기 때문이다.

IT미디어 더레지스터는 오픈HPC가 17일(현지시각) 미국 텍사스 오스틴에서 진행 중인 'SC15' 컨퍼런스에서 오픈HPC 협력프로젝트가 출범해, 슈퍼컴퓨터들이 그 환경을 위한 공통의 소프트웨어 스택을 갖게 됐다고 보도했다. 번거로운 프로그래밍의 수고를 줄여 슈퍼컴퓨터 성능 활용을 촉진하겠다는 목표다.

[☞참조링크: Supercomputers get their own software stack ? dev tools, libraries etc]

기존 HPC 시스템은 프로그래밍하기가 어려웠다. 성능을 최대한 끌어내기 위해 특정 장비에 맞춘 조율과 세심한 측정 과정을 거쳐야 했다. 이미 개발된 프로그램 구동 환경을 다른 시스템으로 옮길 때마다 성능 최적화 작업을 반복해야 했다. 똑같은 결과를 얻기 위해 새로운 코드를 짜야 했다. HPC 애플리케이션을 개발하는 데 드는 노력과 전문성의 부담은 민간에서 HPC의 성능 활용과 확산을 가로막았다.

새로 출범한 오픈HPC는 HPC 용도의 리눅스클러스터 배포와 관리에 필요한 여러 공통 요소를 통합하려는 업계의 바람에서 시작됐다. HPC 클러스터에 필요한 요소는 프로비저닝 도구, 자원 관리, I/O 클라이언트, 개발도구, 기타 여러가지 과학 연구용 라이브러리 등을 포함한다.

이 오픈소스 프로젝트는 서로 다른 슈퍼컴퓨팅 환경에서 반복 작업을 줄일 수 있는 최소한의 공통분모를 만들고, HPC 확산의 걸림돌이었던 애플리케이션 개발 과정의 어려움을 줄이는 수단을 제공하는 걸 목표로 한다.

더레지스터 보도에 따르면 프로그래머들이 한 슈퍼컴퓨터에서 다른 장비로 옮겨 쓸 수 있는 코드를 빠르게 만들 수 있도록 돕는 뭔가를 만든다는 설명이다.

이에 따라 프로젝트 멤버들은 안정적인 테스트, 검증 환경을 만들고 커뮤니티는 빌드 환경과 소스 컨트롤 등 통합 환경을 제공한다. 버그 추적, 사용자 및 개발자 포럼, 협업 도구와 검증 환경을 활용하게 된다.

사실 오픈HPC는 지난주 12일 리눅스재단 협력프로젝트(Collaborative Project)로 공식 발표됐다.

당시 재단 측은 "오픈HPC가 HPC환경을 위한 새로운 오픈소스 프레임워크를 제공하고 커뮤니티에서는 개발자, 관리자, 사용자에게 HPC요소의 통합, 검증된 결과물을 제공해 사용자에게 필요한 유연성, 확장성을 제공할 것"이라 밝혔다.

또 프로젝트 활동 목표와 별개로 HPC 분야에서 연구자, 소프트웨어개발사, 워크로드관리회사, 컴퓨팅 선도업체 등을 통합한 오픈소스 커뮤니티가 빈약했던 점을 극복하기 위해 다양한 클러스터 환경에 활용 가능한 프레임워크를 개발할 수 있는 '중립적 포럼'을 제공한다는 취지도 언급했다.

여타 리눅스재단 협력프로젝트처럼 특정 기업이 장악 또는 주도하는 형태보다 여러 이해관계자가 커뮤니티 안에서 중립적으로 공조하는 방향을 추구할 것이란 얘기다.

다만 참가자들의 면면을 보면 과연 프로젝트가 중립적인 방향으로 갈 수 있을지에 대한 의문이 남는다.

오픈HPC에 관련 시장 확대를 원하는 기술업체들이 대거 참가했다. 크레이, 델, 후지쯔, 휴렛패커드엔터프라이즈(HPE), 인텔, 레노버, 수세 등이 프로젝트 창립멤버다. 대체로 인텔 x86 기반 HPC 클러스터 시스템 제품을 공급하고 있거나 기업용 인텔 서버 솔루션과 관련된 사업을 벌이는 곳이다. 이들은 오픈HPC 프로젝트를 통해 일반 기업시장에 HPC 붐을 일으킴으로써 더 많은 x86 아키텍처 시스템 공급을 꾀할 수 있다.

오픈HPC 프로젝트엔 '파워' 프로세서를 갖고 있는 IBM과 그 오픈아키텍처 '오픈파워' 파트너인 구글, 엔비디아, 알테라, 멜라녹스 등은 빠졌다. 이는 이상한 일이 아니다. 기업용 데이터센터 업계 안에서 IBM과 오픈파워 파트너들은 인텔과 그 파트너들과 서버 시장 지분을 놓고 경쟁하는 관계다. 각자 진영의 입지 확대를 추구하고 있다는 점을 감안하면 인텔 편이 많은 오픈HPC에 굳이 IBM이 낄 이유는 없는 것이다.

IBM은 파워 시스템을 HPC와 일반 기업시장 영역에 모두 확산시키길 원한다. 그래서 파워 프로세서 아키텍처를 개방한 오픈파워 재단을 만들고 파트너들과 함께 성능 업그레이드와 생태계 확대를 추진하고 있다. IBM이 지난 16일 밝힌 실리콘밸리의 팹리스 칩제조사 '자일링스(Xilinx)'와의 다년간 전략적 협력도 그 연장선에 있다.

[☞참조링크: IBM, Xilinx forge pact to bolster OpenPOWER(ZDNet)]

[☞참조링크: IBM bets POWER8 processor farm on hardware acceleration(The Register)]

자일링스는 직접회로 기술노하우를 살려 여러 산업 환경에 맞게 동작을 프로그래밍할 수 있는 임베디드 프로세서를 판다. 현장프로그래머블게이트어레이(FPGA)라는 유형의 제품이다.

IBM은 자사의 오픈스택, 도커, 스파크 솔루션 스택에 자일링스의 FPGA 가속기술을 결합한 파워기반 서버 개발을 예고했다. 이들의 협력과 오픈파워 재단 활동을 통해 파워 프로세서 성능을 끌어올리고 머신러닝, 네트워크기능가상화(NFV), 유전자연구, HPC, 빅데이터분석 등 애플리케이션 수행 결과를 개선한다는 목표를 내걸었다.

이런 IBM의 발표는 언뜻 HPC와의 연결고리가 약해 보인다는 의문이 들 수 있다. 맥락을 함께 보면 좀 다를 수 있다.

IBM과 자일링스의 제휴 소식을 다룬 더레지스터의 보도에 따르면, 이날 IBM 펠로 겸 오픈파워재단 사장인 브래드 맥크레디는 IBM 내부 연구자료를 근거로 '무어의 법칙'에서 말하는 반도체 혁신이 더욱 둔화됐다는 점을 지적하면서, 이런 한계를 극복하려면 "가속 컴퓨팅(accelerated computing)이 미래"이며 "이걸 HPC 세계에서 범용 컴퓨팅 세계로 가져오려면 몇 가지 해야 할 일이 있다"고 언급했다.

이 발언은 그가 SC15 컨퍼런스에서 진행한 기자간담회에서 나온 것이다. 즉 IBM은 HPC업계 관심이 몰린 특정 행사에서 자사의 파워 프로세서 성능을 끌어올리겠다는 메시지를 내놓으면서 의도적으로 인텔 생태계의 추격 의지를 드러낸 것이라 볼 수 있다.

IBM의 야심찬 구상에 시장이 얼마나 호응할 지는 미지수다. 드러난 정황만으로는 인텔 쪽이 유리해 보인다. 세계 슈퍼컴퓨터 성능 벤치마크에 등재된 시스템 대부분이 인텔 제온 칩을 쓴다. 파워 칩 시스템도 더러 보이지만 비주류라고 표현될 만하다.

HPC의 주 수요층인 미국내 주요 국공립 연구기관들이 오픈HPC에 대거 참가했다는 점은 IBM 파워 시스템의 영향력 확대에 부정적인 요소일 수 있다. 미국 바르셀로나 슈퍼컴퓨팅 센터(BSC), 미국 인디애나주립대 익스트림스케일기술연구센터(CREST), 로렌스버클리국립연구소(LBL), 로스알라모스국립연구소(LANL), 텍사스첨단컴퓨팅센터(TACC), 미국 에너지부 국가핵안보국(NNSA) 산하 산디아국립연구소(SNL) 등이 오픈HPC 회원 명단에 이름을 올렸다.