"라마2 등 인기AI 저가에 쉽게 사용"···프렌들리AI, 새 서비스 출시

'서버리스 엔드포인트'라 명명...모델 서빙 최적화와 복잡한 인프라 설치 문제 해결

프렌들리AI(FriendliAI, 대표 전병곤)는 생성형 AI 모델을 쉽게 활용할 수 있는 ‘프렌들리AI 서버리스 엔드포인트(Friendli Serverless Endpoints)’ 서비스를 출시한다고 4일 밝혔다.

'프렌들리AI 서버리스 엔드포인트'는 △연구자 △개발자 △머신러닝 엔지니어 △데이터 과학자가 서빙 인프라 관리를 신경 쓸 필요 없이 최신 생성형 AI 모델들을 쉽게 사용할 수 있게 돕는 서비스다. 기존 생성형 AI 활용에 많은 인력과 시간을 투입해 진행해야 했던 복잡한 인프라 설치 및 운영 과정과 모델 서빙의 GPU 최적화 문제를 해결했다고 회사는 밝혔다.

이를 통해 누구나 쉽게 낮은 비용과 빠른 속도로 라마2(Llama 2), 스테이블 디퓨전(Stable Diffusion), 코드 라마(CodeLlama), 미스트랄(Mistral) 등의 인기 있는 생성형 AI 모델을 자사 서비스에 통합해 텍스트 생성, 이미지 생성에 활용할 수 있다고 덧붙였다. 챗봇, 코드 추천, 문서 요약, 썸네일 생성 등의 다양한 분야에서도 활용이 가능하다.

또한 '프렌들리AI 서버리스 엔드포인트'는 오픈소스 프레임워크를 쓰는 다른 솔루션 대비 최대 4배 빠른 시간 내에 응답을 생성, 원활하고 빠른 생성형 AI 경험을 제공한다고 회사는 밝혔다. 낮은 비용과 빠른 속도는 프렌들리AI만의 최적화된 서빙 엔진인 ‘프렌들리AI 엔진(Friendli Engine)’이 있어 가능하다. 이 엔진은 기존 솔루션에 비해 서빙에 필요한 GPU 수를 최대 7분의 1 수준으로 줄인다고 회사는 밝혔다.

프렌들리AI는 사용자들이 직접 만들거나 튜닝한 생성 AI 모델이나 공유가 필요 없는 전용 GPU 자원을 쓰고 싶은 사용자들을 위해 클라우드 GPU를 선택해 직접 인스턴스를 활용할 수 있는 프렌들리AI 전용 엔드포인트(Friendli Dedicated Endpoints)와 사설 자원에서 직접 수행하는 도커(Docker) 이미지 형태로 제공하는 프렌들리AI 컨테이너 (Friendli Container)도 제공한다.

전병곤 프렌들리AI 대표는 "생성형 AI의 미래는 해당 기술에 누구나 쉽게 접근해 사용할 수 있도록 하는 것에 있다고 생각하며 오픈 소스 생성형 AI 모델을 더 빠르고 저렴하게 제공하기 위해 새로운 서비스를 개발했다”면서 “프렌들리AI 엔진이 장착된 프렌들리AI 서버리스 엔드포인트는 AI 업계에 게임 체인처가 될 것으로 기대한다. 이 서비스를 통해 생성 AI를 누구나 쉽게 쓸 수 있도록 지속적으로 노력해 나갈 것”이라고 밝혔다.