"AI 신뢰성에 총력 기울일 것"…MS, '보안 백서'로 안전한 혁신방안 제시

[이그나이트 2024] 생성형 AI 보안 리스크 해결책 발표…AI 도입·안전 지원

마이크로소프트(MS)가 생성형 인공지능(AI)의 급격한 도입에 따른 보안 위협에 대응하기 위해 안전한 AI 혁신 전략을 제시했다. 기업들이 AI 기술의 잠재력을 최대한 활용하면서도 리스크를 효과적으로 관리하도록 지원하기 위한 조치다.

MS는 지난 20일(현지시간) 미국 시카고 맥코믹 플레이스 웨스트 컨벤션 센터에서 열린 '마이크로소프트 이그나이트 2024' 행사에서 'AI 보안 백서(Security for AI Whitepaper)'를 공개했다. 온라인으로도 동시에 진행된 이번 행사에서는 다양한 AI 기반 최신 기술과 함께 AI 보안 이슈에 대한 해결책이 소개돼 업계의 주목이 집중됐다.

백서에 따르면 현재 전 세계 조직의 95%가 생성형 AI를 사용하거나 개발 중으로, 이들은 평균 13.9개의 AI 애플리케이션을 개발하고 있다. 이러한 급격한 AI 도입은 데이터 유출, 프롬프트 주입 공격, 학습 데이터 조작 등 새로운 보안 위협을 초래하고 있다.

MS가 'AI 보안 백서(Security for AI Whitepaper)'를 공개했다. (사진=MS)

실제로 한 유력 기업의 기술 분야 책임자는 "AI에 입력하는 기업 데이터가 회사 내부에만 머물지 않을 가능성이 점점 커지고 있다"며 "이러한 정보들이 외부로 유출되지 않도록 하는 것이 중요하다"고 경고했다.

MS는 이번에 발간된 백서를 통해 생성형 AI의 빠른 도입이 기존 보안 리스크를 증폭시키고 새로운 위협을 만들어내고 있다고 분석했다. 주요 리스크로는 ▲데이터 유출 ▲급격한 개발로 인한 취약점 노출 ▲AI 공급망의 취약성 ▲환각(hallucinations) 현상 ▲해로운 콘텐츠 생성 ▲모델 도난 ▲프롬프트 주입 공격 ▲학습 데이터 조작 등이 있다.

특히 데이터 유출은 가장 큰 우려 중 하나로 지목된다. 직원들이 승인되지 않은 AI 도구를 사용하거나 AI 시스템에 민감한 정보를 입력할 경우 기밀 데이터가 외부로 노출될 위험이 있기 때문이다. 이는 기업의 비즈니스 경쟁력과 신뢰성을 심각하게 훼손시킬 수 있다.

또 프롬프트 주입 공격은 악의적인 사용자가 AI 시스템에 잘못된 명령이나 데이터를 주입해 의도하지 않은 행동을 유발할 수 있다. 이에 공격자가 시스템을 오도하거나 민감한 정보를 유출시켜 AI의 신뢰성을 저해하고 보안 위협을 증가시킬 가능성이 커졌다.

MS는 이번에 발간된 백서를 통해 생성형 AI의 빠른 도입이 기존 보안 리스크를 증폭시키고 새로운 위협을 만들어내고 있다고 분석했다. (사진=MS)

학습 데이터 조작도 중요한 위협 요소로 부각된다. 공격자가 AI 모델의 학습 데이터에 접근해 데이터를 조작하거나 오염시킴으로써 모델의 성능을 저하시킬 수 있다는 것이다. 이는 AI 시스템이 편향된 결과를 내거나 오작동을 일으켜 비즈니스 의사 결정에 부정적인 영향을 미칠 수 있다.

이러한 위협에 대응하기 위해 MS는 네 가지 핵심 전략을 제시했다. 먼저 AI 보안 전담팀 설립을 강조했다. 이미 기업 중 80%는 AI 보안 팀을 설립했거나 설립할 계획이며 평균적인 팀 구성원 규모는 24명이다. 이러한 부서를 정착시키기 위해서는 유관부서 간 협력, 다양한 기술 역량 확보, 지속적인 교육이 중요하다.

MS 보안팀 관계자는 "AI 보안은 기술 전문가와 보안 전문가가 함께 협력해야만 해결할 수 있는 복합적인 과제"라고 말했다.

또 자원 최적화를 통해 보안 역량을 강화해야 한다. 78%의 조직이 AI 보안을 위해 IT 예산을 증가시킬 예정이며 인프라 업그레이드·규정 준수·평가·직원 교육 등에 우선순위를 두고 있다.

이날 행사에선 제로 트러스트(Zero Trust) 전략 도입도 강조됐다. 시스템이 이미 침해됐다고 가정해 모든 접근 요청을 철저히 검증하고 최소한의 권한만 부여하는 이 방어 전략은 데이터 유출 위험을 감소시키는 데 효과적이다. 설문조사 결과 이미 조직의 78%가 제로 트러스트 전략을 도입하고 있는 것으로 나타났다. 

미칼 브레이버만-블루멘스틱 MS 부사장 (사진=브레이버만-블루멘스틱 링크드인)

마지막으로 포괄적인 AI 보안 솔루션 도입이 필요하다. 조직 중 72%는 새로운 AI 보안 솔루션을 도입할 계획이며 64%는 기존 보안 도구를 개선할 예정이다. 이러한 솔루션은 데이터 분류 및 아이덴티티 거버넌스 설정, 실시간 보안 및 프라이버시 리스크 식별, 데이터 보호, 프롬프트 주입 등 적극적인 보안 방안을 보장하는 데 초점을 맞추고 있다.

MS 보안 관계자는 "AI 보안 솔루션은 기술적 보호뿐만 아니라 윤리적 책임과 규제 준수까지 아우르는 것이 핵심이 돼야 한다"고 설명했다.

이같이 MS는 기업들이 AI의 잠재력을 안전하게 활용하기 위해서는 보안과 혁신의 균형이 중요하다고 강조했다. 이를 위해 부서 간 지속적인 협력과 정보 공유, 전략적인 보안 조치의 시행이 필수적이다.

미칼 브레이버만-블루멘스틱 MS 부사장은 "AI 혁신과 보안은 상호 배타적인 것이 아니라 서로를 강화할 수 있다"며 "고객들이 이러한 균형을 이루도록 지속적으로 지원할 것"이라고 강조했다.