"GPT-3, 크기 60% 줄여도 성능은 그대로"

컴퓨팅 에너지↓· 활용 기업↑

오픈AI의 초거대 인공지능(AI) 모델인 GPT-3 규모를 성능 저하 없이 절반으로 줄일 수 있다는 연구 결과가 나왔다. 이는 컴퓨팅 에너지를 절약할 수 있을 뿐 아니라 모델 활용 범위가 넓어져 긍정적 영향을 미친다.

오스트리아 과학기술연구소 단 알리스타와 엘리아스 프란타르 연구팀은 성능 저하 없이 GPT-3 매개변수를 1천750억개에서 60%까지 줄이는 데 성공했다고 뉴사이언티스트가 18일(현지시간) 보도했다.

알리스타 연구원은 "우리는 1천750억개 매개변수가 필요하지 않다고 판단해 방법을 생각했다"며 "매개변수를 점차 줄임에 따라 성능을 비교, 분석했을 때 기능 저하 현상은 크게 일어나지 않았다"고 설명했다.

(사진=오픈AI 홈페이지)

연구팀은 알고리즘을 사용해 소량의 데이터를 GPT-3 모델에 전달하는 방식으로 실험했다. 그 후 결과물을 내놓는 과정에서 출력 결과에 큰 영향을 미치지 않는 매개변수는 바로 제거했다.

기존에는 모든 매개변수가 출력 과정에 관여했지만, 연구팀은 출력에 별로 상관없는 부분은 제거했다는 의미다. 이 과정에서 오류가 생기지 않도록 나머지 매개변수는 연구팀이 임의로 조정했다.

프란타르 연구원은 "해당 과정을 반복하면서 GPT-3 모델을 '가지치기'했다"며 "결과적으로 정확도 손실을 최대한 막으면서 매개변수를 60%까지 줄이는 데 성공할 수 있었다"고 전했다.

그동안 초거대 AI 모델은 획기적이지만 높은 컴퓨팅 에너지와 개발 비용이라는 한계가 있었다. 일반적으로 매개변수가 클수록 알고리즘 훈련하는 데 사용되는 전기 에너지와 운영 비용은 늘어난다.

오픈AI, 구글을 비롯한 글로벌 빅테크 기업이 대규모 모델을 개발함에 따라 전기가 무분별하게 사용돼 탄소 배출량도 급증했다. 높은 비용으로 개발, 유지되는 만큼 이를 활용할 수 있는 대기업과 그렇지 못한 중소기업 간 문제도 깊어졌다.

초거대 AI 모델 성능을 유지하면서 경량화까지 가능한 이번 연구가 상용화되면 탄소 배출 감소가 가능해져 환경에 도움 될 수 있을 전망이다. 모델이 경량화되면 대기업뿐 아니라 일반 중소기업들에도 접근성이 좋아져 응용 범위도 넓어질 가능성도 있다.

영국 헤이로트-와트 대학 베레나 리저 교수는 "이번 오스트리아 연구에 대해 긍정적으로 평한다"면서 "그동안 훈련, 운영 비용이 천문학적으로 높아 이를 감당할 수 있는 기업만이 초거대 AI 모델을 활용할 수 있었지만, 향후 누구나 쉽게 초거대 AI 모델을 사용할 수 있는 문이 열렸다"고 밝혔다.