"AI기본법이 기술신뢰 못 키워…오류 통제·책임 소재 분명해야"

[SW키트] "에이전트 오류, 성능 아닌 질서 문제"…AI안전연구소 "민간 인증 주시"

밀키트는 손질된 식재료와 양념을 알맞게 담은 간편식입니다. 누구나 밀키트만 있으면 별도 과정 없이 편리하게 맛있는 식사를 할 수 있습니다. [SW키트]도 마찬가지입니다. 누구나 매일 쏟아지는 소프트웨어(SW) 기사를 [SW키트]로 한눈에 볼 수 있습니다. SW 분야에서 가장 주목받는 인공지능(AI), 보안, 클라우드 관련 이야기를 이해하기 쉽고 맛있게 보도하겠습니다. [편집자주]

올해 에이전틱 인공지능(AI)이 실행 단계로 접어들 것이란 전망이 이어지면서 오류·사고를 통제할 수 있는 '신뢰 가능한 AI' 구축 필요성이 커지고 있다. 자율성이 높아질수록 성능 경쟁만으로는 AI 생태계를 확보하기 어렵다는 이유에서다. 

23일 AI 업계에 따르면 올해 기점으로 AI 에이전트가 단순 보조 도구를 넘어 실제 의사결정과 행동을 수행하는 단계로 진입하면서 기술 신뢰성과 윤리에 대한 요구 수준이 빠르게 높아지고 있다. 

에이전트 오류·사고를 통제할 수 있는 '신뢰 가능한 AI' 구축 필요성이 확산하고 있다. (사진=구글 제미나이)

에이전틱 AI는 챗봇처럼 질의응답 하는 수준을 넘어선 AI다. 사용자가 명령을 요청하기만 하면 AI가 스스로 계획을 세우고 여러 도구나 시스템을 활용해 요청을 수행할 수 있다. 필요에 따라 여러 AI 에이전트가 역할을 나눠 협력하거나 외부 데이터·소프트웨어(SW)·서비스와 연동해 실제 행동까지 이어지는 것이 특징이다.

이에 오류가 발생할 경우 단순한 답변 실수가 아니라 현실 세계에 직접적인 피해로 이어질 수 있다는 점에서 신뢰성과 통제 문제가 중요해지고 있다.

전문가들 역시 에이전틱 AI 확산이 단순 기술 진화가 아니라 위험 관리를 준비하는 단계로 보고 있다. 

상명대 이청호 계당교양교육원 교수는 "AI 에이전트가 인간 명령 맥락을 오해할 수 있다"며 "겉으로는 지시에 따르는 듯 보이면서 다른 목적을 추구하는 '기만적 가치 정렬' 위험이 여전히 존재한다"고 지적했다. 

다중 에이전트가 동시 작동하는 환경에서 AI 신뢰성 문제가 발생할 수 있다는 경고도 나왔다. 

다중 에이전트가 동시 작동하는 환경에서 AI 신뢰성 문제가 발생할 수 있다는 경고도 나왔다. (사진=구글 제미나이)

박지환 씽크포비엘 대표는 "AI 신뢰성 하락은 개별 에이전트 성능이 아니라 에이전트 목표 충돌과 질서 부재"라고 지적했다. 그는 "에이전트가 늘어날수록 작은 판단 오류가 연쇄적으로 증폭될 수 있다"며 "규칙 간 충돌로 시스템 전체가 실패할 수 있다"고 설명했다. 

그는 피지컬 AI처럼 실제 행동하는 에이전트 환경에서는 AI 신뢰성이 필수 요소라고 주장했다. 그는 "수백 개 센서 데이터를 밀리초 단위로 처리하는 환경에서는 '필요하면 사람이 개입한다'는 전제가 현실적으로 어렵다"며 "이럴 경우 핵심 쟁점은 AI 성능이 아닌 책임 소재일 것"이라고 강조했다. 

이어 "사고 이후 원인을 분석하는 것보다 사전에 누가 멈출 수 있었고, 어떻게 멈추도록 설계됐는지가 훨씬 중요해질 것"이라고 예측했다. 

AI 신뢰성, 단순 선언 넘어야...검증 가능성 확인 필요

업계는 AI 신뢰성이 선언에 그치지 않고 현장에서 실질적으로 구현돼야 한다는 데 동의했다. 신뢰 강화 정책이 산업 현장에 적용되는지 점검할 수 있는 실증·파일럿 중심 정책 설계가 필요하다는 설명이다.

실제 국내 AI 기업은 신뢰성을 실제 검증하고 현장에 적용할 수 있는 체계 구축에 나서고 있다.

씽크포비엘은 국내 최초로 AI 신뢰성 전문 인증인 CTAP 제도를 운영하기 시작했다. 이를 통해 AI 기술 위험 식별·설명 가능성·운영 통제 역량을 갖춘 실무 인력 양성에 나서고 있다. 법이 요구하는 기준을 실제로 해석하고 구현할 수 있는 전문 인력이 필요하다는 판단에서다.

업계는 AI 신뢰성이 선언에 그치지 않고 현장에서 실질적으로 구현돼야 한다는 데 동의했다. (제공=이미지투데이)

AI 평가·검증 영역에서도 움직임이 나타난다. 셀렉트스타는 학습 데이터 구축과 모델 평가 기반으로 실제 서비스에 적용 가능한 AI를 검증하고 있다. 단순 데이터 가공을 넘어 편향, 품질, 신뢰성을 종합적으로 점검하는 방식이다. 셀렉트스타 평가 체계를 통해 포티투마루가 국내에서 처음으로 인증을 받기도 했다. 

정부 산하 연구기관도 업계 행보를 주시하고 있다. AI안전연구소 관계자는 "민간서 추진 중인 AI 인증 제도를 모니터링하고 있다"며 "우리는 민간 AI 인증 제도를 관리·연계하는 역할을 검토 중"이라고 밝혔다.

전문가들은 AI기본법 시행만으로 신뢰성을 키울 수 없다고 입을 모았다. 정부 역할 전환도 필요하다는 지적이다. 익명을 요청한 한 AI 업계 관계자는 "AI기본법 제정이나 가이드라인 마련만으로는 한계가 분명하다"며 "AI법으로 기준은 마련됐지만, 이를 현장에서 판단·운영할 여력은 없는 상태"라고 평했다. 

그러면서 "AI 신뢰성을 윤리 선언이나 권고가 아닌, 위험 평가·검증·운영 통제를 수행하는 구체적 직무와 책임으로 제도화해야 할 것"이라고 당부했다.