AI 모델 성능만으론 부족…CTO들이 꼽은 경쟁력은 최적화

AI 에이전트 확산에 추론 비용 부상…모델·반도체·SW 아우른 최적화 강조

국내 주요 기술기업의 최고기술책임자(CTO)들이 인공지능(AI) 에이전트 확산으로 AI 산업의 경쟁 축이 단순 모델 성능에서 추론 비용과 인프라 효율성으로 빠르게 이동할 것이란 전망을 내놨다.

AI 반도체와 모델이 다양해지면서 특정 하드웨어의 성능만 높이기보다 모델부터 반도체, 소프트웨어, 실제 워크로드까지 함께 최적화하는 역량이 중요해질 것이란 분석이다.

이진원 하이퍼엑셀 CTO는 29일 서울 코엑스에서 열린 래블업 기술 컨퍼런스 'lab ¦ up > /conf/6'에서 "AI 시장의 무게중심이 학습에서 추론으로 빠르게 이동하고 있다"며 "추론 시장에서는 결국 비용을 얼마나 절감할 수 있느냐가 중요하다"고 밝혔다.

(왼쪽부터) 노정석 비팩토리 대표, 김준기 래블업 CTO, 김태호 노타 CTO, 이진원 하이퍼엑셀 CTO, 이활석 업스테이지 CTO (사진=지디넷코리아)

그는 AI 활용처가 늘어날수록 단일 반도체가 모든 요구를 충족하기 어려워질 것으로 내다봤다. 빠른 응답 속도가 필요한 서비스가 있는 반면, 비용 효율성이 중요한 서비스도 있어 워크로드에 따라 필요한 반도체와 인프라 구성이 달라진다는 설명이다.

이 CTO는 "AI 반도체는 속도와 전력 효율, 비용 등 모든 지표를 동시에 최고 수준으로 끌어올리기 어렵다"며 "각 요소가 트레이드오프 관계에 있는 만큼 목표로 하는 AI 서비스에 맞춰 전략적으로 선택해야 한다"고 말했다.

AI 모델 개발 단계에서도 추론 최적화가 핵심 과제로 떠오르고 있다. 이활석 업스테이지 CTO는 엔비디아·AMD·퓨리오사AI 등 서로 다른 AI 반도체를 활용하면서 범용적인 최적화만으로는 한계가 있다고 설명했다. 모델이 실제 어떤 서비스에서 어떻게 사용되는지까지 파악해야 하드웨어 성능을 제대로 끌어낼 수 있다는 진단이다.

이활석 CTO는 "애플리케이션 정보가 칩까지 흘러가야 경쟁력이 생길 수 있다"며 "워크로드 성격부터 고객의 특성, 칩의 특성까지 각 레이어를 연결해 AI를 최적화해야 한다"고 말했다.

모델과 반도체 사이를 연결하는 최적화 기술의 역할도 커질 전망이다. 김태호 노타AI CTO는 데이터 보안과 비용, 특정 업무에 특화된 AI 수요 등으로 향후 AI 생태계가 더욱 다변화될 것으로 내다봤다. 다양한 모델을 서로 다른 AI 반도체에서 효율적으로 구동할 수 있도록 연결하는 기술이 중요해진다는 설명이다.

그러면서 AI가 기존 기술을 조합해 모델을 최적화하는 능력은 빠르게 향상되고 있지만, 새로운 모델 구조와 워크로드에 맞는 최적화 기법을 만드는 데는 여전히 한계가 있다고 봤다.

인프라 운영 단계에선 서로 다른 하드웨어와 워크로드의 조합이 급증하는 양상이 새로운 병목으로 꼽혔다. 김준기 래블업 CTO는 오케스트레이션 미들웨어가 하위의 다양한 하드웨어와 상위의 워크로드·애플리케이션을 연결해야 하는 만큼 지원해야 할 조합 자체가 빠르게 늘어나고 있다고 짚었다.

김 CTO는 "AI 하드웨어와 워크로드가 다양해지면서 이를 연결해야 하는 조합도 빠르게 늘고 있다"며 "결국 얼마나 다양한 조합과 실제 서비스 환경, 사용자 시나리오에서 검증했는지가 중요해질 것"이라고 말했다.

이날 CTO들은 AI 추론 효율을 높이기 위해 어느 하나의 기술만 개선해선 한계가 있다고 입을 모았다. 모델과 소프트웨어, 메모리와 AI 반도체, 오케스트레이션에 이르는 각 영역을 실제 서비스의 특성에 맞춰 연결하는 역량이 AI 인프라 경쟁력을 좌우할 수 있다는 분석이다.

이진원 CTO는 "AI 기술이 빠르게 고도화되면서 앞으로는 AI를 위한 모델과 사람이 사용하는 모델이 서로 다른 방향으로 발전할 수 있다"며 "이를 뒷받침하는 AI 인프라 역시 용도에 따라 분리되는 시대가 올 것"이라고 전망했다.