"AI 도입 2배 늘어나는 동안 AI 보안 사고는 7.5배 늘어"

김호원 부산대 교수 7일 열린 한국사이버안보학회 학술대회서 발표

최근 정부와 공공기관, 금융권 등을 중심으로 인공지능(AI) 기술 도입이 빠르게 확산하고 있는 가운데 국내 LLM(거대 언어 모델)은 빅테크 기업의 LLM 모델과는 달리 내재적인 보안 기능이 부실하다는 지적이 나왔다. 이에 공공기관 AI 도입을 위한 보안 점검이 필요하다는 주장에 힘이 실리고 있다.

김호원 부산대 컴퓨터공학과 교수는 지난 7일 한국사이버안보학회 학술대회에서 이같은 내용을 골자로 한 'MITRE ATLAS 관점에서의 생성형 AI보안과 신뢰성 검증 기술'을 주제로 발표했다.

김호원 부산대 컴퓨터공학과 교수가 지난 7일 한국사이버안보학회 학술대회에서 발표하고 있다.

김 교수는 AI모델 무결성, 개인정보·기업 정보 유출 이슈 등 AI 보안 관리 중요성을 강조하면서, AI 기술 확산과 함게 보안 위협도 증가하고 있다고 진단했다. AI추론 결과에 대한 신뢰 이슈, 부정확한 정보 제공 등 AI 관련 리스크를 진단하는 공공기관 도입 AI의 안전성·신뢰성·보안성 검증이 필수라고 짚었다.

그는 "AI가 단순 업무 지원 도구에 그쳤던 반면 최근에는 전 산업 분야에서 생성형 AI 도입이 급속히 확산하고 있는 만큼, 내부 주요 정보 활용과 자율적 의사결정을 통한 생성형 AI 사용 범위가 확대됐다"며 "그에 따라 보안 리스크도 증가하고 있다"고 역설했다.

실제로 올해 기준 산업 내 생성형 AI의 도입 비율은 2023년 대비 2배 이상 늘어난 것으로 나타났다. 이에 따라 생성형 AI 보안 사고 역시 2023년 대비 7.5배 늘었다. AI 도입이 늘어나면서 AI에 따른 보안 사고도 크게 뛴 것이다.

김 교수는 생성형AI 사용으로 새롭게 발생하거나, 기존 위험을 더욱 악화시키는 리스크 유형 12개를 소개했다. 구체적으로 ▲화학, 생물학, 핵, 방사선(CBRN)정보를 생성하거나 악용하는 위험 ▲사실이 아닌 정보를 그럴듯하게 생성하는 위험 ▲위험하거나 폭력적인 콘텐츠 ▲데이터 프라이버시 ▲에너지 소비 등 환경 문제 ▲특정 그룹에 불리하거나 차별적인 결과물을 생성하는 문제 ▲인간이 AI 시스템을 과도하게 신뢰하거나 의존하는 위험 ▲정보 무결성 ▲정보 보안 ▲지적 재산권 ▲음란하거나 모욕적인 콘텐츠 ▲AI 공급망 보안 등이다.

이에 AI 시스템의 안전성과 신뢰성 확보를 위해 모델 수준의 보안 및 신뢰성 검증이 필수적이라는 것이 김 교수 진단이다. 그는 "AI 모델 도입 전 주요 공격 기법과 취약점에 대한 사전 대응 가능성을 검증해야 할 필요가 있다"며 "특히 적대적 공격내성, 출력 검증, 공정성·편향성 등 AI 특화 보안·신뢰성 검증 기법 활용이 필요하다"고 강조했다.

제시한 12개 유형의 위험 및 문제에 대해 항목별 점건 기준을 마련해야 한다고도 역설했다. 이는 단순히 기술적인 문제를 극복하기 위한 차원이 아니라 AI 확산에 따른 사회적 신뢰 확보를 위한 핵심 요소라는 것이다.

한편 김 교수는 대표적인 AI 시스템에 대한 공격 기업에 대해서도 소개했다. 우선 프롬프트 가로채기(Prompt Injection)가 가장 대표적인 생성형 AI 위협으로 꼽혔다. 공격자가 프롬프트를 조작해 AI 모델이 의도하지 않은 행동을 하도록 유도하는 유형이다. OWASP 2025 LLM 보안 Top10 리포트에서도 생성형 AI의 최대 보안 위협으로 꼽히기도 했다. 이로 인해 실질적인 데이터 유출, 고객의 개인정보 유출 등 피해가 이어질 수 있다.

또 생성형 AI의 안전장치를 무력화하는 방식으로도 공격이 이어질 수 있다. AI의 정책 위반 금지 조항, 윤리적 제약 등을 우회하도록 설계해 프롬프트 구조나 입력 패턴 또는 문맥적 단서를 활용하는 등 사회공학적 기법을 활용해 LLM 안전장치를 우회하고, AI 모델이 원하지 않는 출력을 강제로 생성하도록 유도할 수 있다. 민원 대응 챗봇, 교육용 AI 등에서 윤리적 문제 및 신뢰도 하락을 유발할 우려도 제기됐다.