"GPU 다음은 데이터 병목"…디노티시아, VDPU로 AI 인프라 새 판 짠다

[AI 페스타 26] "15배 빠른 검색 특화 칩과 통합 AI 스토리지로 데이터 공급 주도"

초거대 AI 생태계가 스스로 복잡한 임무를 수행하는 에이전트 시대로 진화함에 따라 컴퓨팅에 지각변동이 일고 있다. 과거 엔비디아 GPU(그래픽처리장치)를 중심으로 한 연산 능력이 데이터센터 인프라의 핵심이었던 반면, 이제는 연산의 병목 현상이 GPU를 넘어 CPU(중앙처리장치)와 메모리 쪽으로 빠르게 옮겨가는 추세다.

정무경 디노티시아 대표는 7일 강남구 코엑스에서 개최된 'AI 페스타 26'에서 ‘AI 에이전트 시대의 데이터 인프라-검색과 메모리의 폭증, 그리고 AI 스토리지의 등장’을 주제로 발표하며 이같이 진단했다.

정무경 디노티시아 대표가 7일 AI 페스타에서 발표하고 있다.(사진=지디넷코리아)

폭증하는 AI 검색량…CPU 워크로드 70% 차지

정 대표는 강연을 통해 이러한 병목 현상의 근본 원인은 폭발적으로 늘어난 데이터 검색량과 잦은 데이터 이동 지연에 있다고 진단했다. 단답형이던 초기 LLM(거대언어모델)이 검색 증강 생성(RAG)과 추론을 거쳐 자율적인 에이전트 시대로 접어들면서, 하나의 임무를 완수하기 위해 수많은 작업을 거치게 됐다. 이 과정에서 토큰 생성량과 함께 연산 중간중간 데이터를 검색하는 횟수가 기하급수적으로 늘어나, 병목 현상이 생긴 셈이다.

정 대표는 현재 데이터센터 내 CPU 워크로드의 60~70%가 이러한 데이터를 찾는 데 소모되고 있다고 짚었다. 연산 과정에서 AI가 단기 기억으로 사용하는 'KV 캐시(Key-Value Cache)'의 덩치가 커진 것도 병목을 가중시킨다.

그는 "KV 캐시가 너무 비대해져 비싼 고대역폭메모리(HBM)에 모두 담지 못하고 외부로 뺐다 다시 불러오는(오프로딩 및 리로드) 과정을 끊임없이 반복하며 극심한 지연을 낳고 있다"고 지적했다.

특히 올해를 기점으로 인간이 직접 데이터를 찾는 횟수보다 AI가 의미 기반(시맨틱)으로 검색하는 횟수가 역전될 전망이다.

정 대표는 "기업 스토리지에 저장만 해두고 쓰지 않는 '다크 데이터(Dark Data)'가 전체의 75~85%에 달한다"며 "이제는 사람이 아닌 AI가 시맨틱 서치로 이 숨겨진 데이터들까지 모두 찾아내 활용해 새로운 인텔리전스를 만드는 시대"라고 설명했다.

디노티시아의 VDPU.(사진=지디넷코리아)

15배 빠른 검색 가속기 VDPU 개발...제로 카피로 지연 없애

디노티시아는 VDPU(벡터 데이터베이스 프로세스 유닛)를 통해 이같은 병목을 해결할 계획이다. VDPU는 의미 기반 데이터 검색에 특화된 전용 반도체다. AI가 원하는 데이터를 찾아내는 알고리즘 속도를 기존 CPU 대비 최대 15배까지 끌어올려 즉각적이고 정확한 검색을 돕는다.

아울러 찾은 데이터를 CPU의 개입 없이 곧바로 GPU 메모리에 적어주는 '제로 카피(Zero-Copy)' 기술을 지원해 고질적이었던 데이터 이동 지연 문제와 컴퓨팅 자원의 낭비를 획기적으로 줄였다.

정 대표는 "CPU 소프트웨어만으로는 늘어나는 검색량을 감당하기 어려워 AI 검색에 특화된 전용 반도체가 필수적이라고 봤다"며 "우리가 3년 전부터 개발해 온 VDPU는 오직 '검색'만을 위한 세상에 없던 반도체"라고 강조했다.

정무경 디노티시아 대표가 7일 AI 페스타에서 발표하고 있다.(사진=지디넷코리아)

"단순 칩 넘어 'AI 스토리지'로"…데이터센터 필수 인프라 정조준

디노티시아는 VDPU 기술을 발판 삼아 AI 스토리지 시스템 구축을 목표로 한다. 폭증하는 AI 데이터를 제한적인 메모리 공간만으로는 감당할 수 없기 때문이다.

이를 위해 회사는 VDPU 하드웨어와 더불어 외부 지식, 장기 기억(에이전트 메모리), 단기 기억(KV캐시)을 종합적으로 관리하는 ‘AI 메모리 소프트웨어’를 개발 중이다.

정 대표는 “AI가 생각하는 방식은 외부 지식을 찾고 과거 경험을 떠올려 작업하는 사람의 사고방식과 거의 유사하다”며 “이 모든 기능이 스토리지 시스템 안에 통합돼 AI의 기억과 지식을 제공하는 공간이 돼야 한다”고 말했다.

그러면서 "데이터센터를 구축할 때 가장 큰 비용이 GPU에 투입되지만, 결국 GPU가 100% 성능을 내려면 빠르고 정확한 데이터 공급이 뒷받침되어야 한다"며 "VDPU와 AI 메모리 소프트웨어를 결합한 AI 스토리지를 데이터센터 내 GPU 바로 옆에 배치해, AI 인프라 시장의 새로운 패러다임을 주도할 것"이라고 덧붙였다.

한편, AI 페스타 26은 'AI, 현실이 되다. 모두의 AI'를 주제로 과학기술정보통신부, 한국인공지능·소프트웨어산업협회(KOSA), AI페스타 조직위원회가 주최하는 국내 최대 규모 AI 행사다. 서울 삼성동 코엑스 C홀에서 오는 8일까지 진행된다.