P2P 기술의 활용처 가운데 기업이나 국가, 단체들로부터 가장 큰 관심을 모으고 있는 분야는 단연 분산 컴퓨팅과 자원 공유 분야다. 이 분야는 일반 PC나 워크스테이션, 서버 등을 연결해 각 컴퓨터의 프로세스를 모아 대단위의 슈퍼 컴퓨터를 구성해 사용한다는 개념에서 발전돼 나왔다.
컴퓨터의 처리 속도와 네트워크 대역폭은 무어의 법칙 이상으로 빠른 발전을 거듭하고 있지만, 최신 슈퍼컴퓨터로도 해결하기 어려운 연산 문제는 언제나 존재해 왔다. 이런 문제를 해결하기 위한 방법으로 분산된 자원을 연결해 하나의 시스템처럼 사용하고자하는 노력이 진행됐으며, 이를 메타컴퓨팅, 또는 P2P 슈퍼컴퓨팅이나 그리드(GRID)라고 부른다.
그리드는 격자라는 말에서 유래한 것으로 피어끼리 서로 연결돼 마치 격자 모양을 이루는데서 이런 이름이 붙여졌다.
분산 컴퓨팅은 초기에는 클러스터링에 초점을 맞춘 연구를 중심으로 이뤄졌으며, 현재까지도 분산 처리의 대부분은 클러스터링을 의미하는 말로 알려져 있다.
클러스터링에서 확장
하지만 인터넷 대역폭의 확장으로 인해 LAN이나 자체 인터페이스를 이용하는 클러스터링에서 벗어나 국가나 전세계를 포함하는 대형 분산 시스템이 속속 등장하고 있다. 또한 여기에는 단순히 컴퓨터만 피어로 참여하는 것이 아니라 대용량 저장 장치, 다양한 고성능 연구 장비들이 포함되고 있는데, 이렇게 통합된 형태를 그리드라고 한다.
메타 컴퓨터 혹은 메타 컴퓨팅이라는 이름으로도 불리는 그리드는 네트워크 환경에서 연결된 컴퓨팅 자원을 사용자가 개인용 컴퓨터를 이용하듯이 사용할 수 있다는 개념에서 출발했다. 다시 말해 그리드는 네트워크로 연결된 가상의 슈퍼 컴퓨터를 말하는 것이다.
이같은 그리드는 현재 협업 업무에서부터, 컴퓨터를 이용한 정밀 실험, 원격 데이터세트의 검색, 원격 소프트웨어의 사용, 데이터 중심의 컴퓨팅, 대형 시뮬레이션, 무수한 변수가 사용되는 연구 등에 사용할 수 있을 것으로 기대되고 있으며, 이미 많은 프로젝트가 시작된 상태다.
하지만, 한가지 간과해서는 안될 사항은 그리드가 단순히 대용량 연산을 위한 기술만은 아니라는 것이다. 일반 P2P 컴퓨팅 솔루션과 마찬가지로 지역적으로 떨어져 있는 사람들끼리 협력해서 작업을 수행할 수 있는 환경을 제공할 수도 있다.
멀티 플랫폼 지원은 필수
그리드를 구성하기 위해서는 여러 가지 서비스를 개발해 제공하는 것이 필요하다. 이 서비스들은 그리드의 기본적인 역할을 수행하기 위한 여러 가지 기능을 수행해야 한다. 가장 기본적인 서비스로는 그리드에 연결된 여러 피어들 사이에서 자원이 남는 시스템을 찾는 서비스가 있어야 하며, 이외에도 작업의 분산과 처리 순서를 지정하기 위한 스케줄링 관리 서비스, 시스템의 안정성을 확보하기 위한 보안 서비스, 컴퓨터 사용에 따르는 비용을 처리하기 위한 지불 서비스 등이 있다.
그리드는 세가지 특징을 갖고 있다. 먼저 여러 지역이 흩어져 있는 서로 다른 자원들은 다양한 형태로 존재한다. 컴퓨터의 하드웨어 플랫폼이 다르고, 운영체제 등이 상이한 상황에 대한 대비가 마련돼 있어야 한다. 다시 말해 그리드에서 멀티플랫폼 지원은 필수라는 얘기다.
또한 수많은 피어가 그리드에 연결될 수 있으므로 로드밸런싱이 중요한 문제로 등장한다. 특히 그리드가 커질수록 로드밸런싱이나 네트워크의 문제로 성능이 저하될 수 있기 때문에 이에 대한 대비가 필요하다. 또한 그리드 환경에서는 연결된 피어들이 매우 많기 때문에 피어들 중 일부는 언제라도 중지될 수 있다. 이를 관리하기 위해 자원 관리 서비스와 애플리케이션은 항상 동적으로 환경에 대처할 수 있는 유연성을 제공해야 한다.
그리드가 제공해야 하는 세가지 특징에 따라 성능과 기능에 대한 보장을 할 수 있어야 하며, 다양한 자원에 대해 동일한 인터페이스를 제공하고, 언제 어디서라도 연결할 수 있어야 한다.
그리드의 기반 요소에는 개별적인 소프트웨어와 하드웨어들을 하나의 통합된 자원으로 연결시키는 작업이 필요하다. 이들 자원은 PC와 UNIX, 윈도우 NT와 같은 운영체제 기반의 컴퓨터와 LSF(Load Sharing Facility), PBS(Portable Batch System) 등으로 운용되는 클러스터, 대용량 저장장치, 데이터베이스, 전파망원경과 같은 고성능 연구장비 등을 포함한다. 또한 여기에 유효한 자원을 사용자에게 하나의 시스템처럼 보이도록 하는 미들웨어가 구현돼야 한다. 미들웨어는 프로세스의 관리, 자원의 동시 사용, 스토리지 액세스, 보안, 사용자 인증, QoS, 자원 예약 등의 핵심 서비스를 제공한다. 사실 그리드의 구축은 이 미들웨어의 구축이 전부라고 할 수 있을 정도로 중요한 부분이다.
기존의 구조 위에 구축
그리드에서 수행될 애플리케이션과 인프라를 관리하기 위한 도구들을 개발하거나 기존의 애플리케이션에 대한 지원도 중요한 문제다. 특히 개발자가 애플리케이션을 개발할 수 있도록 전체적인 자원에서 수행될 계산을 관리하고 계획하는 사용자 에이전트의 제공은 중요한 부분이다.
이 부분의 그리드는 분산 시스템 개발을 위해 다양한 기능을 제공하면서도 간단하게 애플리케이션을 개발할 수 있는 DCE(Distributed Computing Environ ment), CORBA(Common Object Request Broker Archtecture), Jini 등의 아키텍처를 주로 사용한다.
한편 분산된 자원을 효율적으로 활용하기 위한 애플리케이션 개발은 그리드의 주 목적이자 핵심 요소다. 이들 애플리케이션은 HPC++과 같은 프로그래밍 언어나 MPI(Message Passing Interface) 등의 메시지 패싱 라이브러리를 이용해 개발된다. 시뮬레이션이나 그랜드 챌린지 프로젝트와 같은 애플리케이션들은 엄청난 계산 능력이 필요하고, 원격지에 있는 데이터를 쉽게 접근할 수 있어여 함은 물론, 고성능 실험 장비들과 연동할 수 있어야 한다.
이와 같은 계층 구조로 그리드를 구성하는 주된 이유 중 하나는 각 사이트에서 보유하고 있는 기존의 컴퓨팅 자원들을 현재 상태 그대로 그리드에 연동시키기 위해서다. 이들 여러 기관들을 연결하는 그리드를 형성하기 위해서는 다음 같은 기본적인 원칙이 지켜져야 한다.
·그리드 환경은 각 사이트의 자치권을 침해해서는 안된다.
·이미 사용중인 운영체제나 네트워크 프로토콜을 변경할 필요가 없어야 한다.
·각 사이트는 자신의 선택에 따라 가입과 탈퇴가 자유로와야 한다.
·프로그래밍 패러다임을 제한하거나 사용하는 언어나 도구들을 제한해서는 안된다.
·한 곳에 시스템 오류가 발생하더라도 그리드 전체의 운용에는 문제가 없어야 한다.
·이기종 자원을 지원해야 한다.
·표준과 기존의 기술을 사용할 수 있어야 하고, 오류가 없는 애플리케이션이라면 문제없이 수행돼야 한다.
미국과 유럽 중심의 프로젝트 진행
전세계적으로 그리드 개발을 위해 많은 프로젝트들이 진행되고 있다. 주로 미국과 유럽이 주축이 되고 있는데, 그 중에서도 활발한 활동을 보이고 있는 곳은 컴퓨팅 포털(www.computingportals.org), 글로벌 그리드 포럼(www.gridforum.org), 유러피안 그리드 포럼(www.egrid. org) 등이다.
이들 중 글로벌 그리드 포럼은 ANL과 미국의 NCSA 등 슈퍼 컴퓨팅 관련 연구를 진행하고 있는 국가 단체를 중심으로 한 그리드 포럼이 주축이 돼 구축한 포럼이지만, 현재 유러피안 그리드 포럼과 일본을 중심으로 추진하고 있는 APGrid가 추가되 범세계적인 그리드 포럼으로 운영되고 있다.
대표적인 그리드 프로젝트 중 하나인 유러피안 데이터 그리드는 스위스의 CERN과 이론 물리학자들이 중심이 된 그리드로 일본의 TACC와 공동 연구중이며 고성능 컴퓨팅, 병렬 컴퓨팅, 분산 컴퓨팅, 스토리지 등의 분야를 집중적으로 연구하고 있다. 스위스, 이태리, 영국, 일본 등 10개 국가에서 참여하고 있는 이 프로젝트는 특히 국제적인 테스트베드 인프라로 활용할 계획이다.
독일의 CACTUS 그리드 컴퓨팅은 그리드 애플리케이션이 가능한 미들웨어로 현재 NCSA에서 개발해 웹 기반의 실시간 비주얼라이제이션이 가능한 기술이다. 이미 몇 곳에서 사용한 적이 있으며, 원격 비주얼라이제이션과 스티어링이 가능하다. 독일은 이를 발전시켜 과학자들이 인터넷에서 협업 연구가 가능한 새로운 코드를 개발해 그리드 컴퓨팅을 구축할 예정이며 DFN 기가비트 프로젝트에 적용할 예정이다.
NASA의 IPG는 다중 컴포넌트 시뮬레이션을 위한 프로젝트로 그리드 커먼 서비스를 제공할 예정이며, 미국내 항공기 개발과 관련된 사이트가 Globus 기반의 그리드 컴퓨팅 환경으로 구축될 예정이다. 현재 ARC, CM, IaRC가 IPG/NREN QoS 테스트베드로 구축돼 있다. 차기 Globus 아키텍처와 기술을 개발할 예정이며, 그리드 기반의 대용량 분산 애플리케이션 응용이 가능한 기술을 개발할 예정이다.
ASCI 그리드 프로젝트는 SNL, LANL, LLNL을 중심으로 ASCI 프로젝트를 성공적으로 수행하기 위하여 구축된 프로젝트로 3개 연구실에서 분산된 슈퍼 컴퓨팅 자원을 이용할 수 있도록 메타 컴퓨팅 시스템을 구축하는 것으로 2010년 까지 개발할 예정이다.
일본이 중심이 돼 구축하고 있는 ApGrid 프로젝트는 APAN 프로젝트를 중심으로 Globus 기반의 분산 컴퓨팅, 디지털 라이브러리 ,원격 교육 등을 구축하기 위해 추진중인 프로젝트다.
<표1> 전세계의 주요 그리드 프로젝트
상업적인 목적의 그리드
이같은 학술적인 그리드 외에 상업적인 이용을 위한 그리드의 개발도 진행중이다. 특히 대학과 연구기관을 중심으로 혜성의 진로 예측, 외계인 생명체 찾기, 소수 찾기, 암이나 에이즈 정복, 인간 유전자 해독, 단백질 구조 분석, 신약 개발, 주가 추이 분석, 투자 위험 관리 등의 용도로 사용하고 있다.
미국 암 협회와 국립 암 연구재단, 영국 옥스퍼드대학, 인텔 등은 백혈병 치료제를 개발하기 위한 프로젝트를 진행하고 있으며, 미국 암 연구 센터도 파라본과 함께 암 치료제 개발에 사용할 그리드를 구축했다.
또한 미국의 JP모건은 주가 추이를 예측하고, 투자 위험을 관리하기 위한 소규모의 그리드를 이용하고 있다. 데이터시냅스가 구축한 이 솔루션은 회사 내의 100여대의 컴퓨터를 사용해 사용하고 있으며, 향후 정확도를 높이기 위해 컴퓨터의 수를 늘릴 계획이다.
한편 NASA는 그리드를 이용해 외계의 생명체를 찾고 있다. SETI@home이라고 알려진 이 프로젝트는 전파망원경으로 수집된 데이터를 인터넷을 통해 분석하는 방식으로 이뤄진다.
현재 미국에는 엔트로피아, 데이터시냅스, 패러본컴퓨테이션, 유나이티드디바이스 등 10여개 업체가 슈퍼컴퓨팅 ASP 사업을 펴고 있다. 또한 국내에서도 글로벌인터넷비즈니스(GIB)가 이같은 사업을 벌이고 있으며, 향후 몇몇 업체가 슈퍼 컴퓨팅 ASP 사업에 뛰어들 계획이라고 밝히고 있다.
GIB의 피코테라 솔루션은 ADSL이나 전용회선을 사용하는 인터넷 사용자를 회원으로 확보한 뒤, 이들 PC의 유휴 자원을 대학이나 기업 연구소에 제공하고 이용료를 받는 방식으로 이뤄진다.
사실 개인용 PC의 활용도는 10%를 넘지 않는다는 것이 일반적인 견해다. 하루 중 2~3시간만 사용하고, 나머지는 놀리고 있는 것이다. 게다가 우리나라의 경우 PC의 사양이 전반적으로 높은 편이며 PC 보급률과 ADSL이나 케이블모뎀 등의 초고속 인터넷 서비스의 보급률이 높은 편이기 때문에 인프라 구축은 쉽다는 견해가 지배적이다.
또한 많은 PC를 LAN으로 연결해 사용하는 기업의 경우, 회사 내 컴퓨터로 슈퍼 컴퓨터를 구축해 부가 수익을 올릴 수도 있다. 인텔의 경우 이같은 방식으로 모아진 컴퓨팅 자원을 마이크로프로세서 디자인과 시뮬레이션 등 슈퍼 컴퓨터가 필요한 부분에 활용해 상당한 비용 절감 효과를 얻고 있다.
국내 슈퍼 컴퓨팅 환경 개선 위한 대안
지금까지 살펴본 바와 같이 각국에서는 국가 슈퍼 컴퓨팅 센터를 중심으로 그리드 인프라 구축에 많은 투자를 하고 있다. 사실 급변하는 IT 분야에서 미래를 예측하는 것은 어려운 일이다.
하지만 그리드 컴퓨팅이 슈퍼 컴퓨팅 분야에 또 다른 변화의 바람을 불러일으킬 것이라는데에는 모두의 의견이 일치하고 있다.
특히 우리나라의 경우 세계 500위권 안에 드는 슈퍼 컴퓨터 보유 대수가 4대에 불과하고, 세계 슈퍼 컴퓨터 성능의 0.55%를 점유하고 있는 상황이다. 특히 국내에서 유일하게 슈퍼 컴퓨터 공공 서비스를 제공하고있는 KAIST KORDIC의 크레이 C90의 경우 CPU 사용율이 98%에 이를 정도이기 때문에 이같은 P2P 기반의 그리드 구축이 하나의 돌파구 역할을 할 수 있을 것으로 기대된다.
이미 정부에서도 이같은 가능성을 높이 평가하고 정보통신부가 국가 그리드 포럼을 창립, 이 분야에 대한 집중 투자를 약속하고 있다. 향후 국가 그리드 포럼은 외국과의 연대를 통해 범세계적인 그리드 구축에 참여할 계획이며, 국가 그리드 기본 계획에 따라 오는 2002년부터 5년간 핵심 기술 개발에 435억원을 투입하겠다고 발표했다.
지난 90년대 말부터 그리드 프로젝트를 시작한 외국에 비해 조금 늦은 감이 있지만 이같은 정부의 집중적인 투자는 향후 국내 슈퍼 컴퓨팅 환경에 큰 도움이 될 것으로 기대된다.
그러나 이같은 견해에 대해 조심스러운 의견도 있다. 일부에서는 그리드의 위력과 잠재력은 인정하지만 아직 효과적으로 사용된 사례가 없기 때문에 조금 더 검증해 볼 필요가 있다는 이야기를 하고 있다. @
