검증 모델 부족해 확산 제약…정부, AI 에이전트·MCP 안전망 만든다

과학기술정보통신부와 한국지능정보사회진흥원(NIA)이 인공지능(AI) 에이전트 성능 평가·벤치마크와 모델 컨텍스트 프로토콜(MCP) 안전·신뢰 검증 체계를 올해 안에 구축한다. 쇼핑·금융·예약·코딩 등 실생활 전 영역으로 에이전틱 AI 서비스가 빠르게 확산되는 가운데 이를 검증할 기반이 전무하다는 위기의식에 따른 대응이다.

11일 업계에 따르면 NIA는 지난 6일부터 10일까지 'AI 에이전트 안전·신뢰성 검증 체계 지원' 사업 공모 안내서를 사전 공개했다. 이 사업은 과기정통부 소관으로 정부출연금 18억원을 투입하며 협약 체결일부터 오는 12월 31일까지 진행된다. 수행기관은 단독법인 또는 컨소시엄 형태로 1개를 선정한다.

이번 사업은 AI 에이전트 마켓플레이스 개발 지원, AI 에이전트 및 활용 도구 개발·개방 지원과 함께 과기정통부 'AI 에이전트 인프라 및 생태계 조성 사업' 세 번째 세부 과제로 추진된다. 수행기관은 세 과제 중 하나에만 참여할 수 있으며 중복 지원은 허용되지 않는다. 세부 과제를 살펴보면 크게 ▲AI 에이전트 성능 평가 프레임워크 구축 ▲AI 에이전트 성능 벤치마크 도구 개발 ▲MCP 안전·신뢰 검증 프레임워크 구축 세 축으로 구성된다.

AI 에이전트 안전·신뢰성 검증 체계 지원 공모 안내서 내 추진 체계 및 역할 갈무리 (사진=과학기술정보통신부, 한국지능정보사회진흥원)

AI 에이전트 성능 평가 프레임워크는 에이전트의 자율계획·도구 호출·다단계 실행 프로세스를 정량적으로 측정하는 체계다. 과업 성공률·도구 호출 정확도·실행 효율성(토큰 대비 비용·소요 시간 등) 등 핵심 지표를 수립하고, 국내 고유 응용프로그램인터페이스(API)·공공 데이터·결제 인프라 등 국내 서비스 환경과 한국어 문맥 이해를 반영한 평가 항목도 별도로 마련한다. 국제 표준을 준용한 에이전트 특화 평가 프로세스도 함께 수립한다.

벤치마크 도구는 다단계 추론 시나리오와 검증 데이터셋 5000건 이상을 구축해 에이전트 수행력을 객관적으로 측정한다. 최종 결과값의 정확도를 판단하는 규칙 기반 자동 채점과 실행 경로 기반 논리적 타당성 평가를 결합한 하이브리드 채점 체계를 적용한다. 외부 도구 호출·데이터 교환의 정확성을 검증하는 표준 규격 적합성 검증 기능도 탑재하며, 검증 결과와 통계를 담은 성능 평가 리포트 자동 생성 기능도 제공한다.

MCP 검증 프레임워크는 표준 적합성·상호운용성·안정성·보안성(인증·인가)·도구 기능 정확성 등을 검증하는 체계와 가이드라인으로 구성된다. 글로벌 MCP 표준 및 국내외 관련 표준과의 정합성을 검토해 검증 항목의 객관성을 확보하고, 산·학·연·관 전문가 280여개사로 구성된 에이전틱 AI 얼라이언스 안전·신뢰 분과를 통해 의견을 수렴한다. 개발·운영 기업이 참고할 수 있는 MCP 안전·신뢰 점검 가이드라인도 별도로 배포한다.

주목할 점은 사후 의무다. 선정된 수행기관은 사업 종료 후에도 개발 결과물인 MCP 안전·신뢰 검증 프레임워크와 AI 에이전트 성능 평가 프레임워크·벤치마크 도구를 최소 5년간 유지·운영해야 한다. 단기 구축에 그치지 않고 국내 에이전틱 AI 생태계의 지속적인 신뢰 기반으로 활용하겠다는 취지다.