'온디바이스AI' 동참한 애플, 생성형AI 모델 공개…성능은

생성형AI 모델 '오픈ELM', OLMo의 학습토큰 절반으로 더 나은 성과 달성

온디바이스 인공지능(AI) 경쟁에 참여한 애플이 오픈소스 생성형AI 모델을 공개했다.

24일(현지시간) 벤처비트 등 외신에 따르면 애플은 생성형AI 모델 오픈ELM을 허깅페이스를 통해 출시했다.

오픈ELM은 클라우드 서버에 연결할 수 없는 환경에서도 제한된 학습데이터만으로 충분한 성능을 낼 수 있도록 개발된 온디바이스용으로 언어모델이다. 사전 훈련된 4개와 명령 조정된 4개 등 총 8개의 모델로 이뤄져 있다. 각 모델은 최소 2억 7천만에서 4억 5천만, 11억, 30억 개 매개변수로 학습을 거쳤다.

애플이 오픈소스 AI모델 오픈ELM을 공개했다(이미지=허깅페이스)

애플은 적은 데이터로도 높은 정확성을 달성하기 위해 트랜스포머 모델에서 파라미터를 보다 효율적으로 할당하는 레이어별 스케일링 기술을 적용했다. 각 레이어가 동일한 파라미터 세트를 갖는 대신, 오픈ELM의 트랜스포머 레이어는 다른 구성과 파라미터를 갖게 된다. 

애플이 공개한 내용에 따르면 OLMo와 비교한 결과 오픈ELM이 사전 훈련 토큰을 절반만 사용해도 2.36 퍼센트 더 높은 정확성을 기록했다. 다만 온디바이스AI 모델을 주도하고 있는 마이크로소프트의 파이-3(Phi-3)에 비해서는 아직 성능이 부족한 것으로 나타났다.

오픈ELM은 노트북이나 스마트폰에서 사용하는 것을 목표로 개발됐다. 특히 MLX 라이브러리를 통해 애플의 실리콘 기반 기기에서 직접 추론 및 미세 조정할 수 있는 기능을 지원한다.

애플은 새로운 AI모델과 함께 AI학습을 위한 사전 훈련, 평가, 명령 미세 조정을 위한 도구를 공했으며 훈련별 체크포인트, 모델 성능에 대한 통계, 매개변수 효율성에 대한 지침도 함께 공개했다.

또한 AI학습을 위한 도구는 제한된 오픈소스 라이선스가 적용된다. 이로 인해 애플은 오픈ELM에 기반한 파생 작업 중 애플의 권리를 침해하는 것으로 간주될 경우 특허 청구권이 발동될 수 있다고 경고했다.

애플 측은 “오픈ELM 모델 출시는 최신 언어 모델에 대한 액세스를 제공해 개방형 연구 커뮤니티를 강화하고 풍요롭게 하는 것을 목표로 한다”며 “다만 이런 AI모델은 사용자에 따라 부정확하고, 편향되거나, 불쾌한 결과를 생성할 가능성이 있는 만큼 철저한 안전 테스트를 수행하고 특정 요구 사항에 맞는 적절한 필터링 메커니즘을 구현해야 한다”고 조언했다.