미래기술전략포럼 "AI 에이전트, 신뢰성 검증·사고 책임 기준 마련해야"

산학연 전문가들이 인공지능(AI) 에이전트 확산을 위해 신뢰성 검증 기준과 사고 책임 기준을 마련해야 한다고 입을 모아 말했다. 업무를 스스로 실행하는 에이전트가 늘고 있지만, 사고가 났을 때 누가 책임지고 통제할지는 아직 정해지지 않은 게 문제라고 짚었다.

인공지능산업협회(KAIIA)가 5일 국회의원회관 제8간담회의실에서 개최한 '미래기술 전략포럼' 3차 포럼에서 이런 의견들이 나왔다.

이날 행사는 한국정보통신기술협회(TTA)와 한국인공지능법학회가 공동 주관했다. 8월 31일 출범한 포럼은 지난 2차 모임에서 피지컬 AI를 다뤘고, 이번에는 에이전트를 주제로 삼았다.

5일 '미래기술 전략포럼' 3차 포럼 참석자들이 기념 촬영을 하고 있다. (사진=지디넷코리아)

최경진 한국인공지능법학회장은 인사말에서 AI 사고가 잇따르는 상황을 짚었다. 그는 "최근 잇따르는 AI 사고들, 정보통신기술(ICT) 산업의 위기는 곧 기회가 될 수도 있다"며 "전략적으로 접근해 AI 산업을 발전시키는 좋은 기회로 삼아야 한다"고 말했다.

발제는 김지훈 SK텔레콤 AI사업본부장과 유승재 페르소나AI 대표가 맡았다. 김 본부장은 에이전트가 검색을 넘어 예약과 결제를 대신하는 실행형으로 변하고 있다고 설명했다. 유 대표는 기업 데이터 간 관계와 의미를 정의하는 온톨로지가 있어야 에이전트가 업무를 실행할 수 있다고 말했다.

질의응답과 토론에서는 AI에 관한 신뢰, 검증, 책임 문제가 가장 많이 나왔다. 조경휘 와이즈와이어즈 대표는 "업무 정확성, 판단 적절성, 실행 과정 안정성을 따질 정부, 학계, 민간 공통의 검증 기준이 초기 단계에서 필요하다"고 말했다. 개별 업체의 자체 표준에만 맡겨서는 안 된다는 취지로 풀이된다.

최충진 버넥트 상무는 "산업별 표준화, 시스템 연동, 신뢰성 검증이 함께 추진돼야 한다"고 짚었다. 이어 정부에 제조, 건설, 공공, 에너지 분야의 에이전트 실증사업 확대를 건의했다. 장종표 한국정보통신기술협회(TTA) AI기반기술연구소장은 "추적 가능성과 설명 가능성을 갖춘 표준, 지속적인 품질 검증 프레임워크 개발이 필요하다"고 의견을 내놨다.

AI에 의한 사고 책임 문제 언급도 나왔다. 오법영 SK AX 애커튼 파트너스 상무는 "에이전트가 자동으로 업무를 수행하다가 보안 사고나 개인정보 유출 사고를 내면 누가 어떻게 책임지고 누가 통제할지 아직은 명확하게 정해진 부분이 별로 없다"고 말했다.

조재빈 한국마이크로소프트 매니저는 이용자가 내용을 확인하지 않고 승인만 누르는 구조를 어떻게 개선해야 할지에 의문을 표했다. 이에 대해 김 본부장은 승인을 어느 단계에서 요구할지, 처리 결과를 어떻게 다시 알릴지가 관건이라고 말했다.