고성능 AI 대기시간 줄인다…사이오닉AI, '솔라 오픈2' 10배 가속

드래프트 모델 기반 추론 최적화 적용…대형 오픈 LLM 실사용성 확대

사이오닉AI가 대규모언어모델(LLM)의 응답 지연을 줄이는 추론 가속 기술을 공개했다.

사이오닉AI는 31일 업스테이지의 오픈웨이트 LLM '솔라 오픈2(Solar-Open2-250B)'의 추론 속도를 10배 향상시킨 신규 버전을 허깅페이스를 통해 공개했다.

이번에 공개된 모델은 '솔라 오픈2 250B 울트라패스트 드래프트(Solar-Open2-250B-ultrafast-Draft)'다. 업스테이지의 '솔라 오픈2 250B-A15B' 원본 가중치에 사이오닉AI가 개발한 블록 드래프트 기반 스펙큘레이티브 디코딩용 드래프트 모델을 결합했다.

사이오닉AI, 솔라 오픈2 250B 모델 10배 가속 버전 공개(이미지=허깅페이스)

드래프트 모델은 경량 모델이 먼저 다음 토큰 후보를 제안하고, 원본 250B 모델이 이를 검증·채택하는 구조다. 초대형 모델이 모든 토큰을 순차적으로 직접 생성하는 과정에서 발생하는 추론 병목을 줄이기 위한 방식이다. 사이오닉AI는 이를 통해 초당 800토큰 이상의 생성 성능을 구현했으며, 이는 기존 대비 약 10배 향상된 수준이라고 밝혔다.

고석현 사이오닉AI 대표는 "사람은 생각할 때 한 번에 하나의 단어만 떠올리지 않는다"며 "여러 가능성을 동시에 검토하고 다음 생각을 예측하며 사고를 이어가는 것처럼 LLM도 반드시 한 번에 하나의 토큰만 생성해야 하는지 의문이었다"고 기술 개발 배경을 설명했다.

일반적으로 초대형 모델은 높은 성능을 제공하지만 실제 서비스 환경에서는 추론 지연과 비용 부담 때문에 활용 범위가 제한되는 경우가 많다. 이에 업계는 상대적으로 가벼운 모델을 별도로 운용하거나 고성능 모델 호출을 제한하는 방식으로 속도 문제를 우회해왔다.

글로벌 AI 서비스도 사용 목적과 비용, 응답 속도 등에 따라 서로 다른 모델 경로를 병행 운용하는 방식으로 성능과 효율의 균형을 맞추고 있다. 

사이오닉AI는 별도의 경량 모델로 우회하는 방식이 아니라 250B급 원본 모델 자체의 추론 과정과 생성 경로를 가속했다는 점에서 차별화된다.

고석현 사이오닉AI 대표는 링크드인 게시물을 통해 키미(Kimi) K3 2.8T 모델을 최적화해 초당 300토큰 속도로 간단한 횡스크롤 게임을 구현한 영상도 공개했다. 그는 해당 모델이 국내 인프라에서 구동되며 추론 최적화 기술이 특정 모델군에만 한정되지 않는 것이라고 설명했다.

이번 결과는 오픈웨이트 모델 생태계에서 외부 기업이나 개발자가 직접 도입·활용할 수 있는 가속 방안을 제시했다는 점에서 의미가 있다. 보안 등의 이유로 기업 내부에 자체 대규모 AI 모델을 구축하더라도, 응답 지연으로 실무 적용이 쉽지 않았던 한계를 일부 완화할 가능성이 있다.

AI 에이전트 기반 AX 환경에서의 활용성도 주목된다. AI 에이전트는 검색, 툴 호출, 다단계 추론, 반복 생성 등을 수행하기 때문에 모델 품질뿐 아니라 토큰 생성 속도와 처리량이 중요하다. 초대형 모델의 추론 속도가 개선되면 기존에는 부담이 컸던 고성능 경로를 실제 업무 자동화나 복합 추론 서비스에 투입할 여지가 커진다.

다만 성능 수치 해석에는 주의가 필요하다. 사이오닉AI가 제시한 지표는 GPU 구성, 배치 크기, 입력·출력 길이, 동시 요청 수, 측정 방식에 따라 달라질 수 있어 실제 기업 인프라와 업무 환경에서의 재현 가능성은 별도 검토가 필요하다.

고석현 사이오닉에이아이 대표는 "대형 모델은 뛰어난 추론 능력을 갖추더라도 속도가 느리면 실제 업무에서 반복적으로 활용하기 어렵다"며 "이번 성과는 모델과 추론 엔진, GPU 커널을 함께 최적화해 250B급 모델을 본격적인 에이전트 업무에 투입할 수 있는 처리량을 확보했다는 데 의미가 있다"고 말했다.

이어 "모델의 크기가 더 이상 느린 응답의 이유가 되지 않도록 빠르고 실용적인 AI 실행 환경을 만들어가겠다"며 "국내 파운데이션 모델이 실제 서비스와 글로벌 시장에서 경쟁력을 확보할 수 있도록 최적화 기술과 검증 결과를 지속적으로 공개하겠다"고 덧붙였다.