퓨리오사AI, 차세대 AI 반도체 RNGD 글로벌 데뷔

캘리포니아주 산타클라라, 2024년 8월 28일 /PRNewswire/ -- AI 반도체 대표주자 퓨리오사AI가 미국 현지시간 8월 26일, Hot Chips 2024 컨퍼런스에서 2세대 AI 반도체 RNGD("레니게이드")를 처음으로 공개했다. 퓨리오사의 2세대 AI 반도체 RNGD는 거대언어모델(LLM) 및 멀티모달모델의 효율적인 추론을 위해 설계된 데이터센터용 가속기로, 국내 팹리스가 Hot Chips 행사에서 신제품 발표자로 선정된 것은 최초이며, HBM3가 탑재된 혁신적 추론용 AI 반도체에 대한 행사 현장의 관심과 반응도 높아, 시장에 새로운 바람을 일으킬 것으로 기대된다.

June Paik, Co-Founder and CEO of FuriosaAI.

퓨리오사AI는 2017년 삼성전자, AMD, Qualcomm 출신의 세 명의 공동 창업자에 의해 설립된 이후, 지속적인 기술 혁신과 제품 양산에 집중해 왔다. 그 결과 TSMC로부터 첫RNGD 샘플을 올 5월에 받은 후 빠른 속도로 브링업을 완료함으로써, 동사의 1세대 제품 개발부터 양산까지 과정에서 입증하였던 퓨리오사의 역량이 더욱 강화되었음을 보여주었다. 또한 동사의 SW 역량도, 2021년 당시 출시된 1세대 칩 첫 샘플을 받은 지 3주 만에 브링업을 완료하고 MLPerf 벤치마크 결과를 제출한 바 있으며, 이후 컴파일러 개선만을 통해 성능을 113% 향상시킨 사례가 있다.

초기 테스트 결과, RNGD는 GPT-J 및 Llama 3.1과 같은 주요 벤치마크 및 LLM에서 경쟁력 있는 성능을 보였으며, 단일 PCIe 카드 기준으로 약 100억 개의 파라미터를 가진 모델에서 초당 2,000~3,000개의 토큰을 처리할 수 있는 성능을 보여 주고 있다.

퓨리오사AI 백준호 대표는 "이번 Hot Chips에서 RNGD를 글로벌 시장에 공개하고 빠른 초기 브링업 결과를 발표할 수 있었던 것은 회사의 기술 개발이 하나의 결실을 맺은 것"이라며, "RNGD는 업계의 실질적인 추론 니즈를 충족시킬 수 있는 지속 가능하고 현실적인 AI 컴퓨팅 솔루션"이라고 강조했다. 그는 이어 "우리 제품이 LLM을 효율적으로 연산할 수 있다는 것을 증명하였다는 것은, 회사가 다음 성장 단계에 접어들었다는 것을 의미하며, 팀의 헌신과 지속적인 노력에 대해 매우 자랑스럽고 감사하다"고 전했다.

백준호 대표는 Hot Chips에서 "퓨리오사 RNGD: 지속 가능한 AI 컴퓨팅을 위한 텐서 축약 프로세서(Tensor Contraction Processor)"라는 주제로 제품 소개 및 초기 벤치마크를 공개하며, Llama 3.1 70B의 라이브 데모를 선보였다.

RNGD 주요 특징

범용성과 전력 효율의 균형을 이룬 텐서 축약 프로세서(TCP: Tensor Contraction Processor) 기반 아키텍처
TCP 아키텍처와 함께 설계, 최적화된 컴파일러를 통한 프로그래밍 유연성
주요 GPU의 TDP가 1000W 이상인 것과 대비, 150W TDP의 높은 효율성
48GB HBM3 메모리를 탑재, Llama 3.1 8B와 같은 모델을 단일 카드에서 효율적으로 실행 가능

Supermicro의 기술 및 AI 담당 수석 부사장이자 EMEA 지역 사장 겸 매니징 디렉터인 Vik Malyala는 "퓨리오사 RNGD AI 추론 솔루션은 Supermicro와 함께 친환경 컴퓨팅의 도입을 촉진할 것이며, 퓨리오사의 기술과 제품을 통해 Supermicro 시스템은 전력 소비를 줄이면서도 뛰어난 추론 성능을 제공할 것으로 본다"고 평가했다.

GUC의 CMO인 Aditya Raina는 "퓨리오사AI와의 협력으로 성능과 전력 효율성 모두 뛰어난 RNGD를 시장에 선보이게 되었다. AI 반도체 개발에는 알고리즘, 소프트웨어, 하드웨어에 대한 깊은 이해가 필수적인데, 퓨리오사AI는 설계에서부터 양산 샘플 출시까지 탁월한 역량을 보여주며, 업계에서 가장 효율적인 AI 추론 칩을 출시하게 되었다"고 전했다.