HBM만으론 부족해?...AI 메모리 신기술 뜬다

'2026 핫칩스'서 PIM·CXL·3D D램·HBF 등 메모리 병목 해소 기술 부각

인공지능(AI) 반도체 시장에서 메모리 기술 경쟁의 축이 고대역폭메모리(HBM)의 대역폭 확대에서 새로운 저장구조와 시스템으로 이동하고 있다. AI 모델이 커지면서 연산 성능뿐 아니라 메모리 용량과 데이터 이동에 따른 전력 소모, 발열 등이 새로운 병목으로 떠오르면서다.

28일 반도체 업계에 따르면 미국 스탠퍼드대에서 지난 23~26일 열린 '핫칩스(Hot Chips) 2026'에서도 이 같은 흐름이 부각됐다.

삼성전자와 SK하이닉스의 차세대 HBM 기술을 비롯해 3D D램, HBF(고대역폭플래시), PIM(프로세싱 인 메모리), CXL(컴퓨트익스프레스링크) 등 기존 HBM의 한계를 보완하기 위한 차세대 신기술이 잇따라 공개됐다.

SK하이닉스 HBM4E (사진=SK하이닉스)

현재 AI 가속기의 핵심 메모리로 자리 잡은 HBM은 GPU와 가까운 위치에서 초고속으로 데이터를 처리할 수 있다는 장점이 있다. 하지만 적층 수가 늘어날수록 패키징 난도가 높아지고 발열과 두께, 수율 등의 문제가 커진다. HBM만으로 AI가 요구하는 대역폭과 용량을 모두 충족하기 어려워질 수 있다.

HBM도 진화…베이스 다이·패키징에 힘 주는 삼성·SK

삼성전자는 HBM의 핵심 구성요소인 베이스 다이를 고도화하는 방향을 제시했다. 베이스 다이에 더 많은 로직 기능을 집적해 단순히 데이터를 전달하는 역할을 넘어 AI 가속기의 연산과 시스템 특성에 맞는 기능을 수행하도록 만드는 방식이다. HBM을 범용 메모리에서 고객 맞춤형 메모리로 확장하려는 전략으로 해석된다.

SK하이닉스는 HBM의 물리적 한계를 해결하기 위한 첨단 패키징에 초점을 맞췄다. 메모리 적층이 증가할수록 칩 사이 연결과 열 관리가 중요해지는 만큼 하이브리드 본딩 등 차세대 기술을 통해 더 많은 메모리를 안정적으로 쌓는 기술 경쟁에 나서고 있다.

업계에서는 HBM의 발전 방향이 단순히 '더 많이 쌓고 더 빠르게 만드는 것'에서 벗어나고 있다는 분석이 나온다.

한 반도체 업계 관계자는 "AI 반도체에서는 연산 성능만 높이는 방식으로 전체 시스템 성능을 끌어올리는 데 한계가 있다"며 "결국 향후 메모리에서 데이터를 얼마나 효율적으로 처리하고 이동시키느냐가 중요한 경쟁 요소가 될 것"이라고 말했다.

삼성전자 LPDDR5X-PIM SIM 발표 자료.(사진=지디넷코리아)

HBM 넘어 PIM·CXL·3D D램으로…메모리 역할 확대

실제로 이번 '핫칩스' 행사에서는 HBM을 대체하거나 보완할 새로운 메모리 기술도 등장했다. D-매트릭스(Matrix)와 메타는 3D D램 기반 생성형 AI 추론 가속기를 소개했고, HBF를 활용한 AI 컴퓨팅 기술도 발표됐다. 메모리를 단순한 저장 공간으로 활용하는 데서 벗어나 연산과 데이터 처리에 보다 적극적으로 활용하려는 움직임이다.

삼성전자가 공개한 LPDDR5X-PIM도 같은 연장선상에 있다. PIM은 메모리 내부에서 일부 연산을 수행해 CPU나 AI 가속기로 데이터를 옮기는 횟수를 줄이는 기술이다. 삼성전자는 이번 행사에서 LPDDR5X-PIM의 AI 추론 성능을 공개했으며, 메타의 라마3.1을 활용한 테스트에서 기존 LPDDR5X 대비 약 3배의 토큰 처리 성능을 제시했다.

CXL을 활용한 메모리 컴퓨팅도 주목받았다. 삼성전자와 엑시나(XCENA)는 CXL 기반 컴퓨테이셔널 메모리 기술을 선보이며 용량 확장뿐 아니라 메모리 가까이에서 연산을 수행하는 구조를 제시했다. AI 서버가 필요로 하는 대규모 메모리를 여러 시스템이 공유하면서 동시에 데이터 이동을 줄이는 방향이다.

이 같은 변화는 차세대 AI 메모리 시장이 하나의 제품에 모든 기능을 집중하는 구조에서 벗어날 가능성을 보여준다. HBM은 높은 대역폭을 담당하고, CXL 기반 메모리는 대용량 메모리 확장과 풀링을 지원하며, PIM이나 컴퓨테이셔널 메모리는 데이터 이동을 줄이는 역할을 맡는 방식이다.

업계 관계자는 "앞으로는 HBM의 성능 자체뿐 아니라 HBM과 다른 메모리 계층을 어떻게 조합해 AI 시스템 전체의 효율을 높이느냐가 중요해질 것"이라며 "메모리 업체들도 단순히 D램을 공급하는 데서 벗어나 연산과 패키징, 인터페이스까지 함께 설계하는 방향으로 사업 영역을 넓힐 필요가 있다"고 말했다.