프렌들리에이아이, 언어모델 학습 도구 발표

이달 국제머신러닝학회서 공개

프렌들리AI(대표 전병곤)는 거대언어모델(LLM) 학습 효율을 획기적으로 끌어올리는 시스템 '비파이프'를 이달 발표한다고 18일 밝혔다.

비파이브는 모델 학습 시 저장해야 하는 중간 계산 결과물을 메모리 여유가 있는 GPU에 맡겨 두는 새로운 파이프라인 병렬화 방법이다. 이를 통해 메모리 불균형을 해결한다. 결과적으로 같은 언어모델을 더 빠르고 효율적으로 학습한다.

프렌들리AI는 이달 25일부터 27일까지 미국 하와이에서 열리는 인공지능 학회 '국제머신러닝학회(ICML)'에서 비파이브를 공개할 예정이다.

(사진=프렌들리AI)

프렌들리AI는 지난해 GPT-3와 같은 언어모델 효율을 높이기 위한 ‘동적 배치 처리’와 ‘선택적 배치 처리’라는 핵심 기술을 적용한 엔진을 발표한 바 있다.