세계 최소형 AI 슈퍼컴퓨터 주목…"인터넷 없이 LLM 실행"

미국 기술 스타트업 티니AI의 ‘AI 포켓랩’ 관심

미국 기술 스타트업 티니AI가 세계에서 가장 작은 인공지능(AI) 슈퍼컴퓨터를 개발했다고 라이브사이언스 등 외신이 최근 보도했다.

회사 측에 따르면 이 슈퍼컴퓨터는 주머니에 쏙 들어가는 작은 크기에도 불구하고 자율적인 문제 해결, 추상적 추론, 전략적 계획 수립 등 고성능 AI 모델을 구동할 수 있는 것이 특징이다.

티니AI가 세계에서 가장 작은 AI 슈퍼컴퓨터를 개발했다. (사진-티니AI)

‘AI 포켓랩’이라는 이름의 이 장치는 인터넷 연결 없이도 최대 1200억 개 매개변수를 가진 대형언어모델(LLM)을 로컬 환경에서 실행할 수 있다. 일반적으로 이런 규모의 모델을 구동하려면 데이터센터급 인프라가 필요하지만, 이 기기를 활용하면 전문가 수준의 코딩, 문서 평가 및 개선, 다단계 추론 등의 작업을 로컬에서 수행할 수 있다.

현재 포켓랩에서 실행 가능한 모델로는 오픈AI의 오픈소스 모델 GPT-OSS 120B를 비롯해 대규모 Phi 모델, 매개변수가 많은 메타의 라마 계열 모델 등이 포함된다.

제품은 스마트폰과 노트북 등에 사용되는 12코어 ARM 프로세서를 기반으로 제작됐다. 크기는 14.2×8×2.53cm로 작지만 80GB의 LPDDR5X 메모리를 탑재했다. 참고로 현재 대부분의 노트북은 8~32GB 수준의 메모리를 갖춘다.

사진=티니AI

AI 포켓랩은 세계 최고 성능의 슈퍼컴퓨터와 직접 비교할 수준은 아니지만, NPU와 CPU를 합쳐 최대 초당 190조회 연산(190 TOPS) 성능을 제공한다. 이는 엔비디아가 최근 공개한 미니 PC ‘프로젝트 디지츠’와 함께 소형 AI 컴퓨팅 장비의 등장 흐름을 보여주는 사례로 평가된다. 성능은 프로젝트 디지츠보다 낮지만 크기는 훨씬 작은 것이 특징이다.

티니AI는 소형 기기에서 대규모 AI 모델을 실행하기 위해 두 가지 핵심 기술을 적용했다고 설명했다. 하나는 모델의 지능을 유지하면서 필요한 뉴런만 선택적으로 활성화해 효율을 높이는 ‘터보스파스(TurboSparse)’ 기술이다. 또 다른 하나는 깃허브에서 8천 개 이상의 별점을 받은 오픈소스 엔진 ‘파워인퍼(PowerInfer)’로, AI 연산을 CPU와 NPU에 분산 처리해 더 적은 전력으로 높은 성능을 낼 수 있도록 한다.

이 같은 소형 AI 슈퍼컴퓨터의 등장은 단순히 데이터센터 의존도를 줄이는 것 이상의 의미를 지닌다. 사용자는 인터넷 연결 없이도 정교한 LLM 기능을 활용할 수 있으며, 데이터가 클라우드를 거치지 않아 개인정보 보호 측면에서도 장점이 있다. 또한 원격 연구소나 인터넷 연결이 어려운 선박, 항공기 등 현장 조사 환경에서도 AI 기술을 활용할 수 있는 가능성을 제시한다고 해당 매체는 전했다.