노타, AI 모델 최적화 기술로 에이전트 운영 시장 첫발

메타엠과 AICC 운영 최적화 첫 상용 프로젝트…비용·속도·메모리 병목 해결

노타가 인공지능(AI) 모델 최적화 기술을 기반으로 에이전트 운영 인프라 시장에 진출한다.

노타는 AI 컨택센터(AICC) 전문기업 메타엠과 '차세대 AI 상담체계 구축을 위한 공동 개발 계약'을 체결했다고 13일 밝혔다. 여러 AI 에이전트를 실제 기업 환경에서 안정적으로 운영할 수 있도록 AI 인프라에 노타의 최적화 기술을 적용하는 첫 상용 사례다.

기업이 AI 에이전트를 여러 업무에 도입할수록 모델 호출량과 연산량이 증가해 그래픽처리장치(GPU) 비용과 메모리 사용량이 빠르게 늘어난다. 특히 대규모 상담 환경에서는 모델 성능뿐 아니라 연산 효율과 응답 속도, 메모리 사용량을 실제 서비스 환경에 맞게 최적화하는 것이 중요하다.

(사진=노타)

이에 양사는 노타의 AI 모델 경량화·최적화 기술과 메타엠의 AICC 전문성을 결합해 'AI 네이티브 멀티 에이전트 상담체계'를 구축한다. 고객 의도 분석·정보 검색·응대·상담 요약·지식관리·품질관리 등 상담 업무를 역할별 AI 에이전트가 분담하고 전문 상담사와 협업하는 방식이다. 

노타는 AI 에이전트들을 구동하는 공통 AI 엔진과 오케스트레이션, 검색증강생성(RAG) 등 기반 기술을 개발한다. 거대언어모델과 추론 엔진에 자체 경량화·최적화 기술을 적용해 모델 성능 저하를 최소화하면서 연산량과 메모리 사용량을 줄일 계획이다.

앞으로 노타는 상담뿐 아니라 제조, 금융, 공공 등 AI 에이전트 도입이 확대되는 다양한 산업의 AI 전환(AX) 환경으로 적용 범위를 넓힐 계획이다. 기업이 제한된 AI 인프라에서도 AI 서비스를 안정적이고 비용 효율적으로 운영할 수 있도록 지원한다는 방침이다.

채명수 노타 대표는 "AI 에이전트 시대에는 AI 모델 자체 성능뿐 아니라 이를 실제 서비스에서 얼마나 빠르고 안정적이며 비용 효율적으로 운영할 수 있는지가 핵심 경쟁력"이라며 "이번 프로젝트는 우리 기술이 개별 모델을 넘어 여러 AI 에이전트를 운영하는 인프라 영역으로 확장되는 중요한 이정표"라고 말했다.