"AI 활용 사기 막는다"…MS, '보안' 강화 위한 新 무기 공개

'애저'에 적용된 새로운 보안 기능 '프롬프트 실드' 개발…정교해진 LLM 공격 대응

마이크로소프트(MS)가 생성형 인공지능(AI)의 악의적 사용을 막기 위해 새로운 보안 기능을 개발했다. 이 기능을 앞세워 엔터프라이즈(기업용) AI 시장에서 경쟁력을 유지한다는 목표다.

29일 블룸버그통신 등 일부 외신에 따르면 MS는 다음달 1일부터 애저 오픈AI 서비스에서 새로운 보안 기능인 '프롬프트 쉴드'를 제공할 예정이다. 

'프롬프트 쉴드'는 MS의 자체 AI 서비스인 '애저'에 적용된 보안 기능이다. MS는 이번 일을 통해 AI 모델을 학습시키는 데이터에 악의적인 명력을 삽입해 사용자 정보를 도난하거나 시스템을 해킹하는 등의 행위를 막는다는 방침이다. 또 AI 모델이 잘못된 응답을 생성할 때 사용자에게 경고하는 기능도 개발할 계획이다.

마이크로소프트 코파일럿 프로 (사진=마이크로소프트)

'프롬프트 쉴드'는 향후 애저 오픈AI 서비스 콘텐츠 필터와 통합되며 현재는 애저 AI 콘텐츠 세이프티에서 미리 사용해 볼 수 있다. 

MS는 '프롬프트 쉴드'를 통해 더 정교해지고 있는 대규모언어모델(LLM)에 대한 공격에 대응할 방침이다. 프롬프트 쉴드는 LLM에 대한 직간접적인 공격에 모두 대응하는 것으로 알려졌다. 

특히 LLM의 출력값을 조작하기 위해 악의적으로 프롬프트를 입력하는 프롬프트 인젝션(prompt injection)도 막을 수 있는 것으로 전해졌다. 이는 자연어처리(NLP)와 통계를 기반으로 한 LLM이 인간처럼 언어로 사고하지 못한다는 것을 악의적으로 이용한 사례다. 악의적인 프롬프트 입력에는 직접적으로 텍스트를 입력하는 것 외에 LLM을 속이는 것을 목적으로 정상적인 텍스트 안에 악의적인 지침을 잘 보이지 않도록 삽입하는 방법도 있다. 

이에 MS는 간접적인 방식으로 LLM을 속이는 것에 대응하기 위해 전문적인 프롬프트 엔지니어링 접근 방식인 '스포트라이팅(Spotlighting)' 기술도 도입했다. 이 기술은 LLM이 정상적인 명력과 악의적으로 숨겨진 명령을 구분하는데 도움을 준다.

사라 버드 MS AI 최고제품책임자(CPO)는 "AI 사용이 늘어남에 따라 이러한 공격이 증가하고 있다"며 "이것은 상당한 위협이기 때문에 LLM에 보호 기능을 구축하는 데 전념할 것"이라고 말했다.