딥러닝 '대부' 벤지오, 英 AI 안전 프로젝트 합류

'세이프가드 AI' 과학 분야 책임…고위험AI 감독하는 '게이트키퍼' AI 개발

캐나다 몬트리올대 요슈아 벤지오 교수가 영국 인공지능(AI) 안전 프로젝트 '세이프가드 AI(Safeguarded AI)'에 합류한다.

8일 MIT 테크놀로지리뷰에 따르면 딥러닝 대부로 알려진 벤지오 교수는 영국 정부가 주도하는 세이프가드 A' 프로젝트 과학 감독자로 임명됐다. 이 프로젝트는 영국 고등연구발명청(ARIA)에서 4년 동안 5천900만 파운드(약 1천30억 원)를 지원받아 진행된다.

세이프가드 AI 프로젝트는 AI 시스템이 현실에 미치는 영향을 수치화해 안전성 보장 메커니즘을 개발하는 데 중점을 둔다. 이 과정에서 AI를 통해 다른 AI 시스템을 점검하고 검증하는 방식을 활용해 인간이 검증하는 '레드팀' 방식보다 보다 신뢰할 수 있는 방법을 제시할 계획이다.

영국 정부의 '세이프가드 AI'에 요슈아 벤지오 교수가 합류한다. (사진=마리즈 보이스)

특히 프로젝트는 교통, 에너지 등 위험사태가 발생할 가능성이 큰 고위험 분야에서 AI 에이전트의 안전성을 관리하는 '게이트키퍼' AI를 제작할 예정이다.

이를 위해 고등연구발명청은 첫 해에 540만 파운드(약 94억3천200만원), 다음 해에 820만 파운드(약 143억2천만원)의 자금을 제공해 AI 안전 메커니즘 연구를 지원하게 된다.

세이프가드 AI 프로젝트는 국제적 AI 안전 협력을 촉진하고 영국을 해당 분야의 선도국으로 자리매김하려는 목적으로 시작됐다. 실제로 벤지오 교수는 이미 영국 블레츨리 선언에 참가한 30개국·UN·EU가 참여하는 AI 안전성 국제 과학 보고서의 총책임자 역할을 맡고 있다.

벤지오 교수는 프로젝트 합류에 대해 "지금 우리는 뒤에 절벽이 있을지도 모르는 안개를 향해 달려가고 있다"며 "그 안개를 걷어낼 도구를 구축하고 절벽 너머로 떨어지지 않도록 해야 한다"고 강조했다.