퓨리오사AI, 차세대 AI칩 '레니게이드' 공개

HBM3 탑재…150W TDP 급의 높은 효율 구현해

AI 반도체 스타트업 퓨리오사AI는 미국 현지시간 기준 26일 'Hot Chips 2024' 컨퍼런스에서 2세대 AI 반도체 RNGD(레니게이드)를 공개했다고 28일 밝혔다.

퓨리오사의 2세대 AI 반도체 RNGD는 거대언어모델(LLM) 및 멀티모달모델의 효율적인 추론을 위해 설계된 데이터센터용 가속기다.

퓨리오사AI의 2세대 AI 반도체 레니게이드(사진=퓨리오사AI)

국내 팹리스가 Hot Chips 행사에서 신제품 발표자로 선정된 것은 최초다. HBM3가 탑재된 추론용 AI 반도체에 대한 행사 현장의 관심과 반응도 높았던 것으로 전해진다.

이날 백준호 대표는 '퓨리오사 RNGD: 지속 가능한 AI 컴퓨팅을 위한 텐서 축약 프로세서(Tensor Contraction Processor)'라는 주제로 제품 소개 및 초기 벤치마크를 공개하며, Llama 3.1 70B의 라이브 데모를 선보였다.

초기 테스트 결과 RNGD는 GPT-J 및 Llama 3.1과 같은 주요 벤치마크 및 LLM에서 경쟁력 있는 성능을 보였으며, 단일 PCIe 카드 기준으로 약 100억 개의 파라미터를 가진 모델에서 초당 2천~3천개의 토큰을 처리할 수 있는 성능을 나타냈다.

RNGD는 범용성과 전력 효율의 균형을 이룬 텐서 축약 프로세서(TCP) 기반 아키텍처다. 주요 GPU의 TDP가 1000W 이상인 것에 비해, 150W TDP의 높은 효율성을 갖췄다. 또한 48GB HBM3 메모리를 탑재해 Llama 3.1 8B와 같은 모델을 단일 카드에서 효율적으로 실행 가능하다.

퓨리오사AI는 2017년 삼성전자, AMD, 퀄컴 출신의 세 명의 공동 창업자에 의해 설립된 이후, 지속적인 기술 혁신과 제품 양산에 집중해 왔다. 그 결과 TSMC로부터 첫RNGD 샘플을 올 5월에 받은 후 빠른 속도로 브링업을 완료했다. 

소프트웨어 역량도 강화했다. 퓨리오사AI는 2021년 당시 출시된 1세대 칩 첫 샘플을 받은 지 3주 만에 브링업을 완료하고 MLPerf 벤치마크 결과를 제출한 바 있으며, 이후 컴파일러 개선만을 통해 성능을 113% 향상시킨 바 있다.

백준호 퓨리오사AI 대표는 "이번 Hot Chips에서 RNGD를 글로벌 시장에 공개하고 빠른 초기 브링업 결과를 발표할 수 있었던 것은 회사의 기술 개발이 하나의 결실을 맺은 것”이라며 “RNGD는 업계의 실질적인 추론 니즈를 충족시킬 수 있는 지속 가능하고 현실적인 AI 컴퓨팅 솔루션”이라고 강조했다. 

그는 이어 “우리 제품이 LLM을 효율적으로 연산할 수 있다는 것을 증명하였다는 것은 회사가 다음 성장 단계에 접어들었다는 것을 의미한다"며 "팀의 헌신과 지속적인 노력에 대해 매우 자랑스럽고 감사하다”고 말했다.

아디티아 라이나 GUC 최고마케팅책임자(CMO)는 "퓨리오사AI와의 협력으로 성능과 전력 효율성 모두 뛰어난 RNGD를 시장에 선보이게 됐다"며 "퓨리오사AI는 설계에서부터 양산 샘플 출시까지 탁월한 역량을 보여주며, 업계에서 가장 효율적인 AI 추론 칩을 출시하게 되었다"고 밝혔다.