HPE, LLM용 AI 클라우드 공개

HPE는 20일(현지시간) 미국 라스베이거스에서 개최한 연례행사 ‘HPE 디스커버 라스베이거스 2023’에서 대규모언어모델(LLM)용 HPE 그린레이크를 제공한다고 밝혔다.

LLM용 HPE 그린레이크는 스타트업부터 포춘 선정 500대 기업에 이르기까지 다양한 규모의 기업에서 온디맨드 형식으로 멀티 태넌트 슈퍼컴퓨팅 클라우드 서비스를 이용할 수 있도록 지원한다.

HPE의 LLM용 그린레이크는 HPE의 AI 소프트웨어와 슈퍼컴퓨터를 함께 활용할 수 있는 지속가능한 고성능컴퓨팅 플랫폼이다. 기업은 해당 서비스를 도입해 자체적으로 대규모 AI 모델을 훈련, 조정 및 배포할 수 있다.

HPE는 업계에서 검증된 LLM을 바로 사용할 수 있도록 독일 AI 스타트업 파트너 알레프 알파와 협력해 LLM용 HPE 그린레이크를 제공할 계획이다. 알레프 알파의 사전 훈련된 대규모 언어모델인 루미너스(Luminous)에 대한 접근도 제공하며, 해당 모델은 영어, 프랑스어, 독일어, 이탈리아어 및 스페인어 등 다양한 언어로 서비스된다. 고객은 이를 활용해 자사 데이터를 활용하고 맞춤형 모델을 훈련 및 미세조정(Fine-tune)하며 예측가능한 정보를 바탕으로 실시간 인사이트를 도출해 낼 수 있다.

해당 서비스를 통해 기업들은 다양한 시장에 맞게 AI 애플리케이션을 구축하고 워크플로우에 통합시켜 비즈니스 및 연구를 기반으로 한 가치를 창출할 수 있다.

조나스 안드룰리스 알레프 알파 설립자 겸 CEO는 “HPE의 슈퍼컴퓨터 및 AI 소프트웨어를 활용해서 알레프 알파는 더욱 효율적이고 신속하게 루미너스를 훈련할 수 있었으며, 루미너스는 은행, 병원 및 로펌과 같은 주요 비즈니스들이 의사결정을 더욱 빠르게 내리고 시간과 자원을 절약할 수 있도록 도와주는 디지털 어시스턴트와도 같다”며 “향후 HPE와 협력 확대를 통해 루미너스를 클라우드로 확장하고 고객들에게 이를 서비스형으로 제공함으로써 최종 고객들이 비즈니스와 연구 목표를 위한 새로운 애플리케이션 활용에 박차를 가할 수 있기를 기대한다”고 밝혔다.

HPE는 향후 기후 모델, 헬스케어, 생명과학, 금융 서비스, 제조 및 운송에 이르기까지 다양한 업계 및 도메인에 특화된 AI 애플리케이션 시리즈를 출시할 계획이라고 밝혔다. 이날 발표된 HPE의 LLM용 그린레이크는 해당 시리즈의 첫 시작을 의미한다고 했다.

병렬 구조로 여러 워크로드를 동시에 처리하는 다른 범용 클라우드 서비스와 달리, HPE의 LLM 그린레이크는 컴퓨팅 역량을 최대로 활용해 대규모 단일 AI 트레이닝 및 시뮬레이션 워크로드를 처리할 수 있도록 특별히 제작된 AI 네이티브 아키텍처에서 구동된다. 해당 제품은 수백에서 수천개의 CPU 또는 GPU에서 구동되던 AI 및 HPC 업무를 한 번에 지원할 수 있다. 이러한 역량은 AI를 훈련하고 더욱 정확한 모델을 생성하 는데 있어 더욱 효과적이며, 신뢰할 수 있고 효율적이다. 기업들은 이를 통해 개념검증(POC)단계에서 생산에 이르기까지 모든 과정을 더욱 가속한다.

HPE LLM용 그린레이크는 HPE 크레이 XD 슈퍼컴퓨터에서 구동되며 온디맨드로 이용 가능하다. HPE 크레이 프로그래밍 환경을 통해 제공되며, HPE 크레이 프로그래밍 환경은 소프트웨어 제품군에 완전히 통합된 서비스로 HPC 및 AI 애플리케이션을 최적화해주며 개발, 포팅, 디버깅 및 코드 조정을 위한 완전한 툴셋을 제공한다.

슈퍼컴퓨팅 플랫폼은 HPE의 AI/ML 소프트웨어를 제공하는데, 그 중 HPE 머신러닝 개발 환경은 대규모 모델을 빠르게 훈련하는 것을 돕고, HPE 머신러닝 데이터 매니지먼트 소프트웨어는 재현가능한(reproducible) AI 역량을 바탕으로 데이터를 통합, 추적 및 검사함으로써 믿을 수 있고 정확한 모델을 생성할 수 있도록 한다.

HPE의 LLM용 그린레이크는 코로케이션 시설에서 이용할 수 있다. 북미지역의 경우 큐스케일에서 사용할 수 있다. 큐스케일은 거의 100%로 재생에너지를 활용해 슈퍼컴퓨팅의 규모와 역량을 지원하며 목적에 맞게 설계할 수 있는 리전이다.

HPE는 AI 업무에 가장 핵심적인 세가지 영역, 훈련, 조정 및 추론 각 부분을 지원한다. LLM을 훈련하고 조정할 수 있는 HPE LLM용 그린레이크에 더해, HPE는 추가적으로 AI 추론 컴퓨팅 솔루션을 공개했다. 해당 솔루션은 유통, 숙박, 제조, 미디어 및 엔터테인먼트에 이르기까지 다양한 산업들의 가치창출을 더욱 가속화할 수 있도록 지원한다.

이러한 시스템들은 엣지의 컴퓨터 비전이나 생성형 시각적 AI 및 자연어 처리 AI등 엣지와 데이터센터 내에 있는 워크로드를 타겟팅하도록 조정됐다. 해당 제품은 HPE 프로라이언트 젠11 서버에 기반을 두고 있다. HPE 프로라이언트 젠11은 한층 더 발전된 GPU 가속화 역량을 통합할 수 있도록 맞춤 설계됐다. HPE 프로라이언트 DL380a와 DL 380 젠11 서버는 이전 모델보다 5배 더 뛰어난 AI 추론 역량을 지원한다.

HPE는 현재 LLM용 HPE 그린레이크 추가주문을 접수하고 있으며 올해말까지 서비스를 시작할 계획이다. 북미지역을 시작으로 제공되며 이후 유럽지역에는 2024년에 제공 가능할 것으로 예상된다.