"AI가 준 피해, 어디까지 감수할 수 있나"…정부, AI 서울 정상회의서 논의

"인공지능(AI) 위험성 범위는 무한대다. 인류는 AI로 인한 피해를 어디까지 감수할지 알아야 한다. 그래야 피해를 막을 수 있다. 각국 정부가 'AI 리스크 용납 범위'를 정해야 하는 이유다. 이는 내달 서울서 열리는 'AI 서울 정상회의' 주요 주제다."

크리스 메세롤 프론티어모델포럼 대표는 과학기술정보통신부와 네이버클라우드가 이달 11일부터 12일까지 서울 코엑스에서 개최한 'AI 레드팀 챌린지' 기조연설을 통해 내달 한국과 영국이 공동 진행하는 AI 서울 정상회의 핵심 주제를 알리며 이같이 밝혔다.

정부는 내달 21일부터 이틀간 AI 서울 정상회의를 공동개최한다고 밝힌 바 있다. 지난해 11월 영국서 처음 열린 행사다. 각국 정부는 행사에서 AI 안전 역량 강화 방안 공유, 지속 가능한 AI 발전 방안에 협의할 방침이다. 다만 구체적으로 안전성 논의를 어떻게 할 것인지 알려지지 않았다. 이를 크리스 메세롤 대표가 미리 귀띔한 셈이다.

메세롤 대표는 "AI 위험성이 언제, 어느 시점에서 나타날지 모른다"며 "사람은 100% 안전한 AI를 활용할 수 없다"고 설명했다. 또한 "각국 정부는 AI로 인한 위험을 어디까지 감수할 수 있는지 범위를 정해야 한다"며 "'AI 리스크 임계값' 설정이 시급하다"고 재차 강조했다.

AI 리스크 임계값이란 인류가 현재 용인할 수 있는 AI 위험성 최대 수준을 뜻한다. 현대사회가 어느 범위까지 AI 위험성을 감수할 수 있는지 알린다. 예를 들어, 임계값이 10으로 정해졌을 경우, 현재 인류는 지표 10을 넘지 않는 범위 내에서만 AI 위험을 감수할 수 있다는 뜻이다. 10을 넘으면 인류는 AI로 인해 피해를 크게 입는다.

크리스 메세롤 대표는 올바른 AI법 규정을 위해서라도 AI 위험성 용납 범위를 설정해야 한다고 했다. 그는 "일단 임계값이 정해지면, 사람은 정해진 범위 내 발생할 수 있는 위험을 예상할 수 있다"며 "이를 사전에 막을 수 있는 AI법이나 정책을 정확히 만들 수 있다"고 설명했다.

"정부·기업, AI 취약점 공유 채널 만들어야...모델 상용화 가능 기준도"

메세롤 대표는 각국 정부와 기업이 AI 위험성을 실시간 공유해야 한다고 말했다. 이를 위한 채널도 필요하다고 했다.

그는 "정부와 기업은 AI 보안 취약점을 미리 공유하는 채널이 필요하다"며 "일반 사용자에게 취약점을 공개하기 전에 정부와 기업이 취약점을 보완해야 한다"고 강조했다. 이어 "민간 해커는 공개된 취약점을 볼모로 삼아 AI 제품이나 서비스를 악용한다"며 "선 수정, 후 공지가 안전한 사이버 환경 조성을 돕는다"고 했다.

AI 모델 시장 진출 가능 범위도 설정해야 한다고 했다. 지나치게 위험한 AI 모델이 상용화되지 못하도록 막는 조치다.

메세롤 대표는 "AI 모델은 믿을 수 없이 강력해지고 있다"며 "특수한 역량을 갖춘 모델이 무분별하게 시장에 나오지 못하도록 특정 범위를 설정해야 한다"고 강조했다.