오케스트로, AI 추론 최적화로 GPU 처리량 62.8% 높인다

오케스트로가 그래픽처리장치(GPU) 추가 확보 대신 기존 인프라의 활용 효율을 높이는 AI 추론 최적화 기술을 소개한다.

자체 AI 추론 운영 플랫폼과 스토리지 기술을 결합해 GPU 처리량을 높이고 모델 로딩 시간을 줄인 성능 검증 결과를 공개할 예정이다.

AI 인프라 소프트웨어 전문 기업 오케스트로(대표 김범재·김영광)는 오는 27일 오후 2시 'AI 서비스 성능 개선, GPU부터 더 사야 할까?'를 주제로 온라인 웨비나를 개최한다고 26일 밝혔다.

오케스트로, AI 추론 최적화 전략 웨비나 27일 개최(이미지=오케스트로)

웨비나는 27일 오후 2시 올쇼TV에서 온라인으로 진행된다. 참가비는 무료이며, 사전 등록 후 참여할 수 있다.

생성형 AI 도입이 확대되면서 기업의 관심은 모델 학습에서 실제 서비스 운영과 추론 성능 개선으로 넓어지고 있다. GPU를 확보하더라도 자원 활용률이 낮거나 요청이 몰리면 응답 지연이 발생할 수 있어, 보유한 인프라를 효율적으로 운용하는 기술이 중요해지고 있다.

특히 에이전틱 AI는 하나의 작업을 처리하는 과정에서 모델을 여러 차례 호출한다. 입력 데이터를 처리하는 프리필(Prefill)과 답변을 생성하는 디코드(Decode) 단계가 GPU 자원을 함께 사용하면 작업 간 경합이 발생할 수 있다. 추론 단계별 자원 배분과 처리 구조를 최적화해야 응답 속도와 처리량을 개선할 수 있다는 설명이다.

이번 웨비나에서는 오케스트로의 AI 추론 운영 플랫폼 '콘체르토 AI(CONCERTO A.I.)'를 활용한 분산 추론 기술과 GPU 자원 최적화 방안을 소개한다. 실제 성능 검증 결과를 바탕으로 추론 인프라의 병목을 줄이고 서비스 운영 효율을 높이는 방법도 공유한다.

콘체르토 AI는 대규모 언어모델(LLM)의 프리필과 디코드 단계를 분리해 GPU 자원 간 경합을 줄이는 플랫폼이다. 추론 인프라의 구축과 배포를 자동화하고 성능 모니터링 기능을 통합해 AI 서비스 운영을 지원한다.

오케스트로의 성능 검증에 따르면 콘체르토 AI는 기존 모델 서빙 방식과 동일한 GPU 자원을 사용하면서 고부하 환경에서 처리량을 62.8% 높였다. 토큰 생성 지연은 52.1% 줄었다. GPU 증설 없이 추론 처리 구조를 개선해 성능을 높였다는 점이 핵심이다.

넷앱(NetApp) 스토리지 기술을 활용한 최적화 사례도 공개한다. GPU 다이렉트 스토리지(GDS)를 기반으로 KV 캐시를 오프로딩해 GPU 메모리 부담을 낮추고, 동시 사용자 처리 효율을 높이는 방식이다.

모델 가중치 로딩 시간은 기존 71초에서 8초로 줄였다. 신규 서버의 서비스 투입에 걸리는 시간도 기동 과정 최적화를 통해 187초에서 80초로 단축했다. 추론 성능뿐 아니라 모델 로딩과 서비스 배포 과정까지 개선해 AI 인프라 운영 시간을 줄인 사례다.

오케스트로는 콘체르토 AI를 중심으로 AI 개발 환경과 모델 운영·관리, 통합 모니터링 기능을 확대할 계획이다. 엔비디아 GPU와 국산 신경망처리장치(NPU) 등 다양한 하드웨어를 지원해 특정 장비에 대한 의존도를 낮추고 기업의 독립적인 AI 인프라 운영을 뒷받침한다는 방침이다.