"초거대AI 모델 경량화, 유지비·개발 문턱↓"

오픈AI, 챗GPT 하루 유지비만 9억원..."경량화 모델은 유지비 안 들어"

초거대 인공지능(AI) 모델을 경량화하는 사례가 늘고 있다. AI 스타트업은 주로 오픈AI 'GPT' 모델 크기를 줄여 AI 개발·유지비 문턱을 낮추는 추세다.

최근 스타트업은 모델 자체를 경량화하는 기술을 개발해 '나만의 AI 모델'을 만들기 위해 노력 중이다. GPT규모를 줄여 개인 노트북에 탑재해 다양한 AI 프로그래밍을 할 수 있어서다.

가장 대표적 GPT 경량화 버전은 'GPT4올'이다. 미국 스타트업 노믹AI가 이달 깃허브를 통해 공개했다. GPT4올은 GPT-3.5 터보와 메타 언어모델 '라마'로 데이터를 학습, 파인튜닝 했다.

노믹AI가 최근 발표한 'GPT4올' 소개 화면. (사진=트위터)

노믹AI는 약 100만개에 달하는 문답을 GPT-3.5-터보로 수집했다. 개발팀은 이중 필요 없는 질문과 답을 지웠다. 대신 문답 주제 다양성은 높였다. 업체 측은 "학습 데이터가최대한 다양한 질문에 답변할 수 있도록 만들었다"고 밝혔다. 최종적으로 남은 문답은 43만7천605개였다. 노믹AI는 이를 파인튜닝 했다.

결과적으로 GPT4올은 노트북에서도 AI 모델 개발과 프로그램 실행을 할 수 있게 됐다. 전용 하드웨어 없이 일반 단말기에서 초거대AI 모델을 이용할 수 있는 셈이다.

노믹AI 측은 "모델 경량화까지 4일 걸렸고, 데이터 학습은 8시간 만에 끝났다"고 밝혔다. 또 "GPU 비용은 800달러(약 107만원), 오픈AI API 비용으로는 500달러(약 67만원) 들었다"며 "적은 비용으로도 모델을 효율적으로 개발할 수 있었다"고 말했다.

마크 저커버그 메타 CEO와 선다 피차이 구글 CEO. (사진=지디넷)

그동안 초거대AI는 대기업만 개발할 수 있는 전유물로 여겨졌다. 막대한 양의 컴퓨팅 자원이 필요하고 유지비도 만만치 않아서다. 챗GPT를 만든 오픈AI도 최근 "챗GPT를 비롯한 AI 모델 유지비만 하루 9억원 든다"고 밝힌 바 있다.

이에 일각에서는 모델 경량화 필요성을 거듭 강조했다. 김동환 포티투마루 대표는 이달 열린 한 좌담회에서 "AI 모델 지속 개발을 위해 모델 경량화가 필요하다"고 주장했다.

다만 모델 크기가 작아짐에 따라 일부 정확도도 낮아진다. 이는 별도로 극복해야 하는 기술적 장벽이다. 이에 노믹AI은 "AI 모델 전용 하드웨어 없이 일반 단말기에서 모델 개발 실행을 할 수 있다는 것에 의의를 둬야 한다"고 했다.