미스트랄AI, 온디바이스 AI 모델 '레 미니스트로' 출시

'미스트랄 3B' '미스트랄 8B'로 구성…번역·업무 지원·로컬 분석·프로그램 개발 가능

미스트랄AI가 인터넷 연결 없이 노트북·스마트폰 등에서 작동하는 생성형 인공지능(AI) 모델을 출시했다.

17일 테크크런치 등 외신에 따르면 미스트랄AI는 온디바이스용 AI 경량화 모델 '레 미니스트로(Les Ministraux)'를 '미스트랄 3B'와 '미스트랄 8B' 버전으로 각각 공개했다.

해당 모델들은 영어 기준으로 약 50페이지 분량 텍스트를 한 번에 이해할 수 있는 수준이다. 미스트랄 8B는 입·출력 토큰 당 10센트 비용이 든다. 미스트랄 3B는 같은 양에 4센트다. 노트북이나 스마트폰에서 번역, 업무 지원, 로컬 분석, 자율 로봇, 응용 프로그램 개발에 활용될 수 있다. 인터넷 연결 없이 작동 가능해 개인정보 보호를 기존보다 강화할 수 있다는 점도 특징이다.

미스트랄AI가 온디바이스용 경량화 모델을 공개했다. (사진=미스트랄AI 홈페이지 캡처)

현재 개인이나 기업은 미스트랄 8B만 다운로드할 수 있다. 연구 목적으로만 사용 가능하다. 상업적 모델 사용을 위해 미스트랄AI에 별도 연락을 해야 한다. 이 외 사용자들도 미스트랄AI 클라우드 플랫폼인 '라 플라토르므(La Platformee)'나 향후 파트너십을 맺은 다른 클라우드를 통해서 해당 모델 시리즈를 이용할 수 있다.

최근 AI 개발사들이 경량화 모델을 잇달아 출시하고 있다. 거대모델보다 훈련, 미세 조정, 실행 비용이 더 낮고 속도가 빠르다는 이유에서다. 이에 개발자와 기업은 경량 모델을 이전보다 더 요구하고 있다. 

앞서 구글은 제미나이 경량화 버전 '젬마' 모델 시리즈를 출시했다. 마이크로소프트도 경량 모델 '파이' 모델을 제공하고 있다. 메타도 오픈소스 모델 '라마'를 업데이트해 온디바이스용 경량화 버전을 공개한 바 있다.

미스트랄AI는 최근6억4천만 달러(약 8천576억원) 투자금을 유치하고 AI 제품 포트폴리오를 점차 확장하고 있다. 최근 개발자들이 자사 모델을 테스트할 수 있는 무료 서비스를 출시했다. 사용자가 모델을 미세 조정할 수 있게 돕는 소프트웨어 개발 키트(SDK)도 내놨다. 코드 생성 모델 코드스트랄'도 공개했다.

이날 미스트랄AI는 "최근 고객과 파트너들은 프라이버시 강화를 위해 로컬에서 실행할 수 있는 AI 추론을 요구하고 있다"며 "레 미니스트로는 이런 시나리오에 적합한 컴퓨팅 효율적이고 지연 시간 적은솔루션을을 제공하기 위해 탄생했다"고 공식 블로그에 밝혔다.