삼성·SK "온디바이스 AI, PIM으로 뚫는다"…메모리 연산 시대 본격화

'AI-PIM 반도체 워크숍' 개최...안정적 수율과 제조 숙제는 과제

기기 자체에서 AI를 구동하는 '온디바이스 AI' 시장이 폭발적으로 성장하면서, 이에 최적화된 하드웨어 기술로 PIM(프로세싱 인 메모리)이 부상하고 있다. 거대언어모델(LLM)을 기기 내부에서 매끄럽게 돌리기 위해서는 막대한 데이터 대역폭이 필수적인데, 스스로 연산 기능을 품은 PIM이 이 병목을 해결할 구원투수로 낙점된 것이다. 온디바이스 AI 시장 선점을 위해 삼성전자와 SK하이닉스는 PIM 기술 개발에 열을 올리고 있다.

12일 KAIST 서울캠퍼스에서 열린 '제1회 AI-PIM 반도체 워크숍'에서는 국내 반도체 양사의 지능형 메모리 연구 현황과 향후 전략이 나란히 공개됐다.

삼성전자 LPDDR5X-PIM SIM 발표 자료.(사진=지디넷코리아)

삼성전자, 시뮬레이터 실증 딛고 'LPDDR6-PIM' 표준화 주도

삼성전자는 기술의 범용성과 생태계 표준화를 무기로 내세웠다.

이석한 삼성전자 수석은 하드웨어·소프트웨어 통합 시뮬레이터 'LPDDR5X-PIM Sim'을 소개했다. 삼성전자는 이 시뮬레이터를 통해 가상 환경에서 PIM을 구동, 데이터 이동 전력을 획기적으로 줄여 전체 에너지 효율 상승을 실증했다.

이 수석은 “고객사나 SoC 업체 입장에서는 완전히 새로운 PIM 명령어를 바닥부터 다시 학습하고 적용하는 게 큰 장벽”이라며 “'LP5X-PIM Sim' 시뮬레이터는 기존 HBM-PIM 때부터 맞춰온 표준 프로토콜(BCPP) 호환성을 그대로 유지하면서 작동하도록 설계돼 실물 반도체 없이도 가상 환경에서 데이터 타입(FP16·BF16·INT32)이나 레이아웃 호환성을 미리 매끄럽게 맞춰볼 수 있도록 지원하는 것이 핵심”이라고 설명했다.

특히 이 수석은 차세대 'LPDDR6-PIM'에 대한 구체적인 표준화 전망을 내놨다.

그는 "현재 JEDEC(국제반도체표준협의기구)의 태스크그룹에서 LPDDR6-PIM 표준화를 논의 중"이라며 "향후 과거 x86 CPU 시장처럼 명령어 세트 표준은 공유하되, 내부 아키텍처 설계는 삼성이나 SK 등 각 벤더의 역량과 전략에 따라 완전히 다르게 분화되는 흥미로운 경쟁이 벌어질 것"이라고 내다봤다.

최해랑 SK하이닉스 팀장이 제1회 AI-PIM 반도체 워크숍에서 발표하고 있다.(사진=지디넷코리아)

SK하이닉스, '어텐션 가속' 특화…투랭크로 용량 한계 돌파

SK하이닉스는 LLM 구동 환경에서 가장 부하가 큰 핵심 연산 부위만을 타깃 가속하는 실전 지향형 전략을 펼치고 있다. 추론 과정의 80~90%를 차지하는 '어텐션 연산'을 전담해 가속하는 독자적인 'GDDR6-AiM' 아키텍처가 대표적이다. 뱅크 내부에서 데이터를 재사용하는 구조를 통해 내부 대역폭을 16배 확보하고, 에너지 효율은 4배 가까이 개선했다.

특히 SK하이닉스는 검증되지 않은 메모리를 위해 메인 컨트롤러를 쉽사리 변경하지 않는 글로벌 고객사들의 진입 장벽을 깨기 위해, PCIe 카드 형태의 가속기 인프라인 'AX 시스템'을 직접 제작해 성능을 증명해 왔다.

최해랑 SK하이닉스 팀장은 "GDDR6 표준 스펙의 한계를 소프트웨어 레벨에서 극복해 투랭크(Two-Rank) 시스템을 제어, 용량을 32GB까지 확장하는 데 성공했다"며 "실물 칩으로 완전 전환할 경우 일반 시스템 대비 최대 12배의 성능 향상이 가능하다"고 강조했다.

물리적 변화·전력망 디자인 등 상용화 위한 '제조 숙제'

다만 이날 워크숍에서 양사 관계자는 PIM 반도체가 글로벌 상용화와 대량 양산 체제로 진입하기 위해 반드시 해결해야 할 과제가 있다고 밝혔다.

이 수석은 연산기 탑재로 인한 D램의 물리적 변화와 트레이드 오프(상충 관계)를 지적했다.

그는 "메모리 내부에 연산 블록을 넣다 보니 D램 다이 면적이 커져 비용 상승 압박이 발생하고, 순간적인 대량 연산 시 전력망이 버티지 못하고 흔들리는 파워 드롭 현상이 필연적으로 동반된다"며 "특히 연산할 때 발생하는 열이 D램 셀의 데이터 누설을 심화시키기 때문에, 시스템 PMIC(전력관리반도체) 용량 확장이나 패키징 단의 발열 제어 연구가 완벽히 받쳐주지 않으면 실전 상용화가 어렵다"고 털어놓았다.