AI 메모리 새 해법 찾는 반도체 업계..."HBM만이 답 아니다"

퀄컴은 LPDDR6 기반 '고대역폭 연산', 인텔은 'XBM' 특허 출원

AI 가속기 성능을 좌우하는 핵심 요소가 연산 능력뿐 아니라 메모리 대역폭으로 옮겨가면서 고대역폭메모리(HBM)은 AI 시대의 필수 부품으로 자리 잡았다. 거대언어모델(LLM)의 학습과 추론 과정에서는 초당 수 테라바이트(TB)에 이르는 메모리 대역폭이 요구되기 때문이다.

엔비디아 블랙웰 울트라(GB300), AMD 인스팅트 MI350 등 최신 AI GPU 대부분은 200GB 이상의 HBM을 탑재하고 있으며, 구글의 텐서처리장치(TPU) 역시 HBM을 활용한다. 그러나 높은 성능만큼 치러야 하는 대가도 크다.

SK하이닉스 HBM4E 12단 샘플. (사진=지디넷코리아)

HBM은 여러 개의 D램 다이를 수직으로 적층한 뒤 GPU나 AI 가속기와 연결하는 구조여서 제조 공정이 복잡하고 생산 단가가 높다. 여기에 첨단 패키징 공정과 실리콘 인터포저까지 필요해 생산량 확대에도 한계가 있다.

퀄컴 "LPDDR6 메모리와 가속기를 보다 가까이"

글로벌 반도체 기업들이 HBM 의존도를 낮추기 위한 새로운 해법을 찾기 시작했다.

퀄컴은 지난 6월 말 인베스터 데이에서 추론용 AI 가속기 'AI250'에 HBM 대신 LPDDR6 메모리를 활용하는 '고대역폭 연산(HBC)' 구조를 적용할 것이라고 밝혔다.

퀄컴이 제시한 '고대역폭 연산(HBC)' 개념도. (사진=퀄컴)

LPDDR은 스마트폰과 노트북 등에 사용되는 저전력 메모리다. HBM보다 메모리 대역폭은 낮지만 가격 경쟁력이 높고 공급도 안정적이라는 장점이 있다.

퀄컴은 메모리의 성능보다 시스템 구조를 바꾸는 방식을 선택했다. 절대적인 메모리 속도보다 데이터 이동 효율을 높여 AI 추론 성능을 끌어올리겠다는 접근이다.

연산을 담당하는 가속기 바로 위에 LPDDR 메모리를 쌓아올려 대역폭을 확보한다. (사진=퀄컴)

HBC는 AI 가속기 등 연산 유닛을 D램 바로 아래 배치하는 2.5차원 구조를 적용해 데이터 이동 거리를 최소화했다.

이를 통해 복잡한 배선 구조와 발열, 전력 소모를 줄이면서 HBM 없이도 높은 메모리 효율을 확보한다는 전략이다.

인텔, 실리콘 인터포저 없앤 'XBM' 특허 출원

현재 HBM은 GPU나 AI 가속기와 연결하기 위해 '실리콘 인터포저'를 사용한다. 인터포저는 HBM과 프로세서를 초고속으로 연결하는 핵심 부품이지만, 대면적 실리콘을 사용해야 하는 만큼 패키징 비용을 높이는 대표적인 요인으로 꼽힌다.

HBM 내부 구조(사진=AMD)

인텔은 최근 공개된 특허에서 '크로스배치 메모리(XBM)'라는 새로운 메모리 구조를 제안했다. 실리콘 인터포저 대신 칩렛 연결 표준인 UCIe를 이용해 메모리와 프로세서를 연결하는 방식을 제시했다.

HBM 대체 대신 HBM이 안고 있는 높은 패키징 비용과 제조 난도를 구조적으로 개선하려는 시도로 해석된다.

인텔이 특허 출원 서류에 제시한 XBM(크로스배치 메모리) 단면도. (사진=인텔)

여기에 배선층 상부에 트랜지스터를 배치하는 백엔드 트랜지스터 기술을 적용해 동일 면적에서 집적도를 높이고 데이터 이동 경로를 줄이도록 설계했다.

또 메모리 일부에 결함이 발생하더라도 자동으로 우회하는 자체 복구(Self Repair) 기능도 포함했다. 다층으로 적층되는 메모리 특성상 생산 수율을 높이고 제조 비용을 낮추기 위한 설계로 풀이된다.

'HBM 우선'에서 '메모리 효율' 경쟁으로

인텔은 메모리 구조 자체를 바꾸려 하고, 퀄컴은 연산 유닛과 메모리의 배치를 최적화하는 길을 선택했다. 접근 방식은 다르지만 두 회사가 지향하는 바는 같다. AI 성능을 좌우하는 메모리 대역폭을 비용효율적으로 늘리며 전력 소비를 낮추는 것이다.

AI 추론에 특화된 퀄컴 AI200/250 시스템반도체. 올 하반기부터 공급 예정이다. (사진=퀄컴)

특히 AI 시장의 중심이 대규모 모델 학습에서 추론으로 이동하면서 이러한 변화는 더욱 빨라질 것으로 전망된다.

추론용 AI는 클라우드 데이터센터뿐 아니라 기업 서버와 AI PC, 엣지 시스템 등 훨씬 다양한 환경에 적용된다. 모든 시스템에 고가의 HBM을 탑재하는 것은 비용 효율 측면에서 현실적인 선택이 아니기 때문이다.

히트파이프 블록을 더해 냉각 성능을 향상시킨 삼성전자 HBM5 시제품. (사진=지디넷코리아)

HBM은 당분간 AI 메모리의 주류 지위를 유지할 가능성이 높다. 다만 AI 시장의 중심이 추론으로 이동하고 비용 효율이 새로운 경쟁력으로 부상하면서 HBM 의존도를 낮추기 위한 시도는 더욱 다양해질 전망이다.