[현장] KISA "AI 공격 더 교묘…프롬프트 오염부터 막아야"

김성훈 팀장 "사이버 공격 대응력 높아져…일회성 모델 검증에 그쳐선 안 돼"

"생성형 인공지능(AI) 해킹 공격이 더 교묘해졌습니다. 모델이 악성 프롬프트에 오염돼 일반 사용자 질문에 엉뚱한 답변을 하는 사례가 늘었습니다. 프롬프트 오염부터 막는 것이 안전한 AI 모델을 지키는 길입니다."

한국인터넷진흥원(KISA) 김성훈 팀장은 5일 서울 용산 로얄파트컨벤션에서 열린 '2024 AI 시큐리티 데이'에서 안전한 생성형 AI 생태계를 위한 방안을 이같이 밝혔다.

김 팀장은 최근 보안 기술이 성장했다고 주장했다. 생성형 AI 모델을 해커로부터 보호할 수 있는 수준이라고 했다. 다만 해커들은 새로운 방식으로 생성형 AI 모델을 공격하고 있다고 지적했다. 오염된 프롬프트를 모델에 학습시키는 것이 공격 트렌드라고 말했다. 

한국인터넷진흥원(KISA) 김성훈 팀장은 프롬프트 오염을 막는 것이 안전한 AI 모델을 지키는 길이라고 강조했다.

이런 공격은 해커가 모델에 악의적으로 프롬프트를 조작하는 식으로 진행된다. 이를 통해 일반 사용자가 모델에 질문했을 때 정상적인 답변을 받을 수 없다. 악의적 프롬프트가 사용자 질문을 다른 질문으로 전환하기 때문이다. 결과적으로 생성형 AI는 사용자 질문과 무관한 답변을 생성한다.

김 팀장은 "다크웹서도 이런 조작법이 공유되고 있는 실정"이라며 "건강한 AI 생태계를 위해 빠른 대응이 필요하다"고 강조했다. 

김 팀장은 이에 대한 대응책을 제시했다. 개발사는 생성형 AI 모델 개발에 필요한 데이터 수집부터 데이터 전처리, AI 모델 설계·학습, AI 모델 검증·테스트 과정에 반복적인 검증 시스템 체계를 갖춰야 한다고 강조했다. 

김 팀장은 "그동안 소프트웨어 보안 검증은 일회성에서 끝났지만, AI 모델 검증은 다르다"며 "주기적인 보안 검증을 꾸준히 진행해야 한다"고 당부했다.