MIT, 자가 학습 AI 공개...성능 최대 500배 향상

AI 알고리즘 '심플' 공개, 생성AI 방식으로 직접 데이터 생성해 학습

MIT가 적은 데이터로도 대규모 언어모델(LLM) 수준의 성능을 인공지능(AI)을 개발할 수 있는 새로운 접근법을 공개했다.

1일(현지시간) 벤처비트 등 외신에 따르면 MIT 컴퓨터 과학 및 인공지능 연구소(CSAIL)는 자기 학습 개발 AI 알고리즘인 '심플(Simple Pseudo-Label Editing)'을 개발했다고 밝혔다.

MIT에서 공개한 내용에 따르면 심플 알고리즘은 생성AI 방식으로 초기 주어진 데이터와 레이블, 주석 등에 의존하지 않고 직접 새로운 학습 데이터를 추가로 생성해 학습하는 자가학습 기능을 적용했다.

(사진=픽사베이)

또한 데이터 생성 과정 중 부정확하다고 예측되는 데이터를 판단하고 이를 제거해 정확도를 높일 수 있는 기능까지 도입했다.

MIT 연구팀은 3억 5천만 개의 매개변수로 구성된 자가 학습 언어모델이 1천370억에서 1천750억 개의 매개변수를 보유한 언어 모델들 보다 뛰어난 성능을 기록했다고 밝혔다. 기존 LLM 모델과 비교해 최대 500배 이상 높은 성능 기록한 셈이다.

또한 AI가 스스로 학습데이터를 만들고 수정하는 만큼 초기 일정 수준의 데이터를 입력하면 추가 데이터를 입력하지 않아도 된다. 덕분에 추가 교육 없이 다양한 작업에 도입할 수 있으며, 학습 과정에서 발생하는 민감 데이터 노출 문제를 개선할 수 있다.

이번 연구의 주 저자인 MIT의 홍인 루오 연구원은 "우리는 자동으로 많은 양의 데이터를 학습할 수 있다는 자가 학습의 장점을 유지하면서 잘못된 예측으로 인한 불확실함을 해결했다”며 “이를 통해 사람이 직접 이미지에 설명을 작성하는 등의 반복 작업과 의도치 않은 정보 노출을 해결했다는 점이 개발 효율보다 더 중요한 점이라고 생각한다”고 말했다.

이를 위해 MIT CSAIL 팀은 AI가 생성한 데이터의 적합성 여부를 판단을 높일 수 있도록 언어에 내포된 뜻을 AI가 판단하는 것을 목표로 개발했다. 이를 위해 자체적으로 언어의 문맥을 분석하는 수학 모델을 개발해 적용시켰다.

홍인 루오 연구원은 "이번 연구는 언어 이해의 근본적인 원리인 맥락 연관성을 AI가 이해하는 것을 목표로 개발했다"며 "맥락 연관성을 중점적으로 학습시키며 모델 LLM의 매개변수 효율성은 높인만큼 자연어차리(NLU) 작업에서 좋은 성능을 달성할 수 있었다"고 설명했다.