옥토ML, 생성AI 최적화 서비스 출시

스테이플 디퓨전, 3배 빠르게 실행·비용 5분 1로 절감

옥토ML이 생성AI를 컴퓨팅 환경에 맞춰 최적화하는 서비스인 옥토AI를 출시했다.

14일(현지시간) 테크크런치 등 외신에 따르면 옥토ML은 생성AI 최적화 컴퓨팅 서비스인 옥토AI를 출시했다고 공식 사이트를 통해 밝혔다.

옥토AI는 기업에서 인프라와 비용 걱정 없이 생성AI를 사용할 수 있도록 자체 최적화를 지원하는 서비스다. 옥토ML이 보유한 인공지능(AI) 및 기계학습(ML) 시스템 관련 전문 지식과 기술을 기반으로 모델 실행 및 하드웨어 관련 세부 정보를 추상화해 최적화한다.

옥토ML

많은 기업과 개발자들이 사용할 수 있도록 오픈소스 생성AI를 중점적으로 최적화 작업을 제공하고 있다. 현재 스테이블 디퓨전 2.1, 돌리y v2, 라마 65B, 위스퍼, 플랜UL 및 비쿠냐 등을 지원한다.

옥토AI는 자주 사용하는 생성AI 모델은 템플릿 라이브러리에 추가해 바로 사용하거나 배포를 간소화할 수 있다. 또한 자동화 기능과 오픈소스 기능 추가를 통해 보다 효율적으로 생성AI를 개발하거나 활용할 수 있도록 지원한다.

예를 들어 사용자가 대기시간과 비용 중 우선순위를 정하면 옥토AI가 자동으로 적합한 하드웨어를 선택해 생성AI 학습 프로세스를 설계한다. 이 과정에서도 같은 성능이라면 최대한 비용을 절감하는 등 사용자의 요청사항에 따라 최적화한다.

옥토ML 측은 스테이블 디퓨전의 일반 델을 실행할 때보다 옥토AI로 최적화 작업을 거쳤을 떄 3배 더 빠르게 실행하고 비용을 5배 절감하는 성과를 거뒀다고 밝혔다.

루이스 세제 옥토ML의 최고 경영자(CEO)는 “AI는 더 이상 참신함이 아니라 실제 비즈니스로 효율적인 컴퓨팅 환경에서 실행 가능하게 만드는 데 중요하다”며 “많은 회사가 직접 AI기반 솔루션을 구축하려 노력하지만 이 과정은 많은 전문 인력과 인프라 투자가 요구된다”고 설명했다.

이어 “우리는 생성AI 개발 과정의 복잡성을 추상화해 비즈니스에 적합하도록 전환을 돕고 있다”며 “이를 통해 각 기업의 개발자가 인프라 관리보다 제품 개발에 더 집중할 수 있는 환경을 마련하려 한다”고 말했다.