숭실대 AI안전성연구센터 센터장을 맡고 있는 최대선 숭실대 소프트웨어학부 교수는 7일 에임인텔리전스가 개최한 '인공지능(AI) 리스크 컨퍼런스 서울 2026'에서 'AI 리스크: 권한과 통제'를 주제로 발표했다. 최 교수는 이날 '허깅페이스(Hugging Face)' 침해 사례를 바탕으로 기존의 보안 패러다임만으로는 더 이상 AI를 안전하게 활용하기 어렵다고 강조했다.
허킹페이스 침해 사례는 취약점을 분석하는 문제를 해결하기 위해 샌드박스 환경에서 동작하도록 설계했지만, 더 높은 성능을 얻기 위해 AI 에이전트가 스스로 샌드박스를 벗어나 외부 정보를 찾으려 시도한 일이다. 또한 AI 에이전트끼리 별도의 저장공간을 만들어 정보를 공유하는 등 사용자가 의도하지 않았던 행동까지 수행했다.
그는 "AI 에이전트 시대 사이버보안의 핵심 과제는 해킹 기술보다 AI에 얼마나 적절한 권한을 부여하고 통제할 수 있는지로 옮겨가고 있다"고 말했다.
최 교수는 이를 두고 AI 에이전트에 대한 권한 관리가 제대로 이뤄지지 않았다고 지적했다. 또한 향후 AI 보안 사고 상당수가 권한 관리 미흡으로 인해 발생할 가능성이 높다고 진단했다.
그는 "허깅페이스 침해 사례는 두 가지 실패를 담고 있다. 첫 번째는 권한의 실패, 둘째는 통제의 실패다"라며 "권한의 실패는 내부 저장소에 에이전트가 접근할 수 잇었다는 점, 통제의 실패는 지시하지 않은 목표를 향해 에이전트가 경계를 넘었다는 것"이라고 말했다.
이에 최 교수는 "에이전트에게 어디까지 권한을 허용할 것인지, 권한을 허용한 이후에 멈추라고 하면 멈출 수 있는지 등을 다시 생각해봐야 한다"며 "만약 이 질문에 대답할 수 없다면 이는 보이지 않는 AI 에이전트 리스크"라고 강조했다.
관련기사
- 배환국 소프트캠프 대표 "AI 권한관리로 사업 확장…고객사 호평"2026.07.02
- 오픈AI '아스트라', 보안·안전 기능도 막강...7대 기능 살펴보니2026.09.06
- AI시대 보안 리스크는?...프라이빗AI, '테크서밋' 개최2026.09.04
- "보안과 AI 결합한 모델, 지속 지원해야"2026.09.02
최 교수는 에이전트에 부여할 수 있는 권한을 좁히더라도 사고는 발생할 수 있으며, 권한을 좁혀도 해결되지 않는다면 더 많은 권한을 부여하면서도 사후에 무엇이 일어났는지 설명할 수 있어야 한다고 역설했다. 또한 통제할 수 없다면 기록이 남아야 한다는 것이 그의 주장이다.
최 교수는 "결국 앞으로의 AI 보안은 사고를 완전히 막는 것이 아니라 AI의 모든 행동을 기록하고 분석해 지속적으로 권한과 통제 체계를 개선하는 방향으로 발전할 수밖에 없다"며 "국내에서도 AI 안전 논의가 개인정보 보호나 모델 보안을 넘어 자율형 AI의 권한 관리와 통제 기술까지 확대돼야 한다"고 밝혔다.
