메모리 1/6로 줄인다고?…구글 터보퀀트 쇼크의 치명적 착각

'에이전틱 AI' 루프가 부른 데이터 폭증이 원인…산학계 "다다익램 불패"

구글 리서치가 발표한 대규모 언어모델(LLM) 메모리 압축 기술 ‘터보퀀트(TurboQuant)’에 글로벌 반도체 시장이 요동쳤다. 이 기술이 AI가 문맥을 기억하는 KV캐시(Key-Value Cache) 용량을 최대 6분의 1로 압축한다는 소식에, 고대역폭메모리(HBM) 등 메모리 반도체 수요가 급감할 것이란 우려가 덮치며 관련 기업들의 주가가 일제히 크게 하락한 것이다.

하지만 국내 AI 반도체 및 아키텍처 전문가들의 진단은 정반대 방향을 가리키고 있다. 

시장은 터보퀀트를 ‘수요 파괴자’로 오해했다. 하지만 기술의 본질과 최신 인공지능(AI) 서비스 트렌드를 뜯어보면 오히려 다가올 ‘메모리 폭발’을 지탱하기 위한 산소호흡기이자, AI 생태계를 확장할 강력한 촉매제라는 분석이다.

구글 본사 (사진=씨넷)

워킹 메모리의 확장…"책상 안 줄이고 참고서 늘린다"

전문가들은 가장 큰 착각으로 ‘압축의 목적’을 꼽았다. 기업들이 메모리를 압축하려는 이유는 돈을 아끼기 위해서가 아니라, AI를 더 똑똑하게 만들기 위해서라는 것이다.

정무경 디노티시아 대표는 'KV캐시'를 사람이 복잡한 문제를 풀 때 당장 머릿속에 지식을 임시로 얹어두는 ‘워킹 메모리(Working Memory)’에 비유했다. 예컨대 어려운 문제를 풀 때 지식을 바로바로 꺼내 쓰기 위해 넓게 펼쳐두는 '책상'과 그 위의 '참고서' 같은 역할이다.

정무경 디노티시아 대표(사진=장경윤 기자)

당장 풀어야 할 문제가 복잡할수록 책상 위에 참고서를 많이 올려둘 수 있어야 답변의 퀄리티가 높아진다. 현재 AI 업계의 최대 화두인 AI가 한 번에 읽고 기억할 수 있는 문맥(컨텍스트)의 길이를 어떻게든 늘리는 것도 이 때문이다. 문제는 그동안 물리적인 HBM 메모리의 용량이 턱없이 부족해 방대한 지식을 한 번에 올려놓지 못했다는 점이다.

이때 터보퀀트 같은 기술로 데이터 크기를 6분의 1로 압축하게 되면 어떤 일이 벌어질까. 기업들은 '이제 책상 크기를 줄여 비용을 아끼자'고 생각하지 않는다. 역설적으로 기존 책상 크기를 그대로 유지한 채, 2권밖에 못 놓던 참고서를 12권이나 꽉 채워 올려둔다. 같은 하드웨어 공간에 6배 더 많은 지식을 밀어 넣어 AI의 지능을 극대화하는 쪽을 택한다는 전망이 우세하다.

정 대표는 "6배로 압축했다가 아니고 6배 많이 올려놓을 수 있다, 이렇게 생각해야 한다"며, "성능이 좋아지면 이제 작은 하드웨어로도 구동이 되기 때문에 디멘드(수요)가 없어질 거라고 착각하는 경우가 되게 많다"고 꼬집었다. 효율이 높아질 수록 (메모리)수요가 줄어드는 게 아니라 오히려 더 늘어나게 된다는 말이다.

학계 주장도 이를 뒷받침한다. 김지훈 한양대 융합전자공학부 교수는 "메모리 요구량이 줄어드는 만큼 구매에 여유가 생기기 때문에, 더 다른 큰 모델과 시퀀스를 쓰거나 확장하게 된다"고 설명했다.

생성형 AI와 에이전틱 AI 비교 설명.(사진=SK)

'에이전틱 AI'가 부른 데이터 폭증

그렇다면 작년 4월에 이미 공개됐던 이 논문 기반의 기술이 왜 하필 지금 뜨거운 감자가 되었을까. 그 배경에는 최근 AI 시장의 게임 체인저로 떠오른 '에이전틱 AI(Agentic AI)'의 등장에 있다는 게 전문가들의 분석이다.

과거의 단순 문답형 LLM에서는 한 번의 추론에 한정된 KV캐시만 필요했다. 하지만 에이전틱 AI는 스스로 단계별 논리 전개를 수행하며 루프를 반복한다. 루프는 프로그래밍이나 AI 작동 과정에서 특정 목표를 달성할 때까지 생각과 행동 과정을 계속해서 되돌아가며 반복하는 것을 말한다.

정명수 파네시아 대표(사진=지디넷코리아)

카이스트 교수인 정명수 파네시아 대표는 "에이전트랑 LLM이 루프로 돌아가는 그 구조는 KV캐시를 훨씬 많이 더 쌓는다"고 지적했다. 정 대표는 에이전트가 동작하며 루프 백(Loop back)을 돌게 되면 KV캐시 요구량이 "몇 십 배, 몇 백 배 막 늘어난다"고 설명했다.

결국 에이전틱 AI 시대로 접어들면서 메모리 요구량이 기하급수적으로 폭증하자, 드웨어를 물리적으로 추가해 수습하던 기존 방식이 한계에 달했다는 지적이다. 터보퀀트와 같은 극단적인 소프트웨어 압축 기술은 이러한 데이터 폭발을 견뎌내기 위한 필수불가결한 고육지책일 뿐, 결코 장기적인 메모리 수요를 꺾을 수 없다는 것이 현업 전문가들의 중론이다.

정확도 하락에 연산 병목까지…결론은 영원한 '다다익램'

극단적인 압축 기술이 공짜로 얻어지는 마법도 아니다. 구글은 터보퀀트가 성능 하락 없이 데이터를 압축한다고 발표했지만, 현장의 시각은 더 냉정하다. 양자화(Quantization) 기술의 본질 자체가 소수점 이하의 세밀한 데이터를 덜어내는 '손실 압축'이기 때문이다.

정명수 대표는 이를 과거 슈퍼컴퓨터의 기후 예측 시뮬레이션에 빗대어 설명했다. 메모리 용량을 아끼기 위해 숫자의 정밀도를 낮추면 결국 일기예보가 틀리듯, 극단적인 메모리 축소는 필연적으로 AI 서비스의 정확도(품질) 하락이라는 또다른 청구서를 내밀 수밖에 없다는 지적이다.

(사진=지디넷)

아울러 추가 연산 병목 문제까지 더하면, 터보퀀트가 물리적 메모리를 완벽히 대체할 수 없다는 한계는 명확해진다.

이진원 하이퍼엑셀 CTO는 "메모리 저장은 3비트로 하더라도 꺼내서 연산할 때 4비트로 변환한 다음에 해야 한다”며, 현재 하드웨어 구조상 3비트 연산기가 부재한 현실을 꼬집었다.

이진원 하이퍼엑셀 CTO

즉, 터보퀀트 기술은 저장 공간만 줄여줄 뿐 실제 연산 효율에는 이득이 없다는 뜻이다. 오히려 데이터를 다시 역양자화(압축 해제)하는 과정에서 추가 연산 오버헤드가 발생한다. 이를 병목 없이 매끄럽게 처리할 최적화 커널이 뒷받침되지 않는다면, 최악의 경우 메모리 사용량은 줄이더라도 AI 구동 속도는 오히려 느려질 수 있다는 치명적인 딜레마를 안고 있는 셈이다.

결과적으로 효율성 혁신은 메모리 반도체의 파이를 갉아먹는 것이 아니라 오히려 거대하게 키울 가능성이 더 많다는 관측이다.

이 CTO는 경제학의 '제본스의 역설'을 인용하며 "사람들은 '예전보다 10배 효율성이 높아지게 됐으니까 우리 이제 하드웨어를 10분의 1만 쓰자'라고 절대 그렇게 안 한다"며 “오히려 10배 더 많이 사용해보자는 쪽으로 이야기가 나올 것”이라고 말했다.

그러면서 "이것(터보퀀트) 때문에 메모리가 덜 팔리거나 이럴 일은 절대 없다"고 단언했다.

AI가 더 긴 문맥을 이해하고 스스로 추론하는 시대로 나아가는 이상, 메모리는 그 진화의 속도를 받쳐줄 유일한 토대라는 것이다.

김지훈 교수의 한 마디는 반도체 시장을 향한 섣부른 위기론을 관통한다.

"이미 시장에 메모리 공급이 너무 모자란 상황에서, 메모리는 많으면 많을수록 좋다는 '다다익램(多多益RAM)'의 법칙은 절대 깨지지 않습니다.”