"고위험 AI 안전성 강화"…정부, 오픈AI와 협력 확대

평가 방법론·벤치마크 공유…국제 통용 평가 체계 마련 추진

정부가 최첨단 인공지능(AI) 모델 안전성 검증을 위해 오픈AI와 협력 범위를 넓혔다.  

과학기술정보통신부는 인공지능안전연구소가 오픈AI와 17일 한국전자통신연구원(ETRI) 서울사무소에서 고위험 분야 AI 안전 협력 강화를 위한 업무협약을 체결했다고 밝혔다. 

이번 협약은 지난해 10월 과기정통부와 오픈AI가 체결한 업무협약을 AI 안전 분야로 확대하기 위해 마련됐다. 올해 두 차례 진행된 과기정통부 제2차관과 오픈AI 고위 관계자 면담에서 논의된 협력 방안이 협약으로 이어진 것이다. 

이상현 오픈AI 아시아태평양 지역 정책 총괄(왼쪽)과 김명주 인공지능안전연구소 소장. (사진=과학기술정보통신부)

AI안전연구소와 오픈AI는 고위험 분야별 안전 평가 방법론과 벤치마크 관련 지식, 모범사례를 공유하기로 했다. 한국어와 한국 사회 맥락을 반영한 평가 체계를 개발하기 위한 기술 정보도 교환한다.

고성능 AI와 자율형 에이전트 AI가 금융, 의료, 안보, 공공 서비스 등 고위험 영역으로 확산하면서 사전 안전 평가의 중요성도 커지고 있다. 모델 성능뿐 아니라 오작동 가능성, 사회적 편향, 악용 위험까지 점검할 수 있는 평가 기준이 필요해졌다는 의미다.

두 기관은 국제적으로 적용 가능한 AI 안전 평가 체계를 마련하기 위한 협력도 이어갈 계획이다. 구체적인 협력 과제와 일정은 업무협약 체결 이후 실무 협의를 거쳐 확정한다.

오픈AI가 각국 AI안전연구소와 업무협약을 맺은 것은 미국, 영국, 일본에 이어 한국이 네 번째다. 과기정통부는 이번 협약을 계기로 한국이 최첨단 AI 위험 검증과 평가 기준 마련을 위한 국제 협력 네트워크에서 역할을 강화할 수 있을 것으로 봤다.

이진수 과기정통부 AI정책기획관은 "고성능 AI, 자율형 에이전트 AI 등 최첨단 AI 모델 안전성 확보를 위해 글로벌 선도기업과 협력을 강화하고 AI 안전성 평가 체계를 고도화해 나갈 시점이다"며 "이번 협약을 계기로 급변하는 최첨단 AI 안전 확보에 적극 협력할 것"이라고 밝혔다.