과기정통부, AI보안 안내서 발간...113개 요구사항 담아

모델 개발자, 서비스 제공자, 이용자 대상...NIST 규정 등 참고

정부가 '인공지능(AI) 보안 안내서'를 발간했다. 과기정통부와 KISA 홈페이지에서 내려받아 사용할 수 있다.

10일 과학기술정보통신부(부총리 겸 과기정통부장관 배경훈, 이하 ‘과기정통부’)와 한국인터넷진흥원(원장 이상중, 이하 ‘KISA’)은 외부 사이버 위협으로부터 인공지능 모델·서비스를 보호하기 위해 기업과 국민이 참조할 수 있는 '인공지능(AI) 보안 안내서'를 마련하였다고 밝혔다.

인공지능 대전환(AX) 시대가 본격 도래하면서 국민 일상을 넘어 국가 경제·사회 전 영역에서 인공지능 기반 서비스 도입이 확대되고 있다. 이에 정부는 국민과 기업이 인공지능의 혜택을 안전하게 누릴 수 있도록 그간 지침, 가이드라인 등을 발간해 왔지만(신뢰할 수 있는 인공지능 개발 안내서(과기정통부), 생성형 AI 윤리 가이드북(NIA, ’23) 등) 주로 인공지능 생성물, 추론 과정 등에 대한 신뢰성 및 윤리적 활용의 관점에서 다뤄지면서 외부 사이버 위협을 예방·대응하는 보안 관점에서의 상세한 가이드 또는 기준은 없었다.

이에 과기정통부는 산·학·연 전문가들과 함께 국내‧외 AI 보안 정책 관련 사례 등을 분석하고 관계기관·업계 대상으로 의견 수렴을 거쳐 인공지능 모델 개발자, 서비스 제공자, 이용자 등이 보안 측면에서 참고할 수 있는 '인공지능(AI) 보안 안내서'를 마련했다.

이번 '인공지능(AI) 보안 안내서'는 인공지능 모델·시스템에 대해 보안 3대 요소(기밀성, 무결성, 가용성)을 기반으로 개발자, 서비스 제공자 대상 인공지능 생애주기 전 단계 보안 요구사항과 이용자의 인공지능 보안 수칙 등 총 113개 항목으로 구성됐다.

개발자 생애주기는 ①계획 및 설계 → ②데이터 수집 및 준비 → ③모델 개발 → ④모델 배포 → ⑤모니터링 및 유지보수 → ⑥파기로 이뤄져 있다.

또 서비스 제공자 생애주기는 ①서비스 계획 및 설계 → ②서비스 개발 및 구축 → ③서비스 제공 및 운영 → ④서비스 유지보수 및 지원 → ⑤피드백 및 서비스 개선 → ⑥파기의 과정을 거친다.

이번 안내서는 모델 개발 단계에서 AI 모델 위험 관리, 데이터 암호화, 실시간 모니터링 등 인공지능 보안 내재화(Secure by Coding)를 실현하기 위한 보안 요구사항을 제시하고, 서비스 제공 단계에서는 서비스 이상 행위 탐지, API·인터페이스 보안, 백업시스템 구축 등 서비스 복원력 관점에서의 보안 요구사항을 제시했다. 또 중요 정보 입력금지, 인공지능 악용 금지 등 이용자를 위한 구체적인 보안 수칙을 제시했다.

안내서는 국제 기준 및 가이드라인(NIST AI RMF 1.0(미국, ’23), OWASP Top 10 for LLM applications(OWASP, ’25) 등을 참고해 인공지능 보안 요구사항을 글로벌 수준으로 정립함으로써, 국내 모델뿐만 아니라 해외 모델에도 적용할 수 있도록 범용성과 글로벌 규범 간 호환성을 확보하였다는 점이 특징이라고 과기정통부는 설명했다.

과기정통부 임정규 정보보호네트워크정책관은 “이번 인공지능 보안 안내서는 고도화되는 사이버 위협 속에서 인공지능을 안전하게 개발·활용할 수 있도록 하는 중요한 이정표가 될 것”이라면서 “인공지능에 대한 새로운 보안 위협을 모니터링하여 반영하는 등 보안 안내서를 지속 업데이트 해나갈 예정”이라고 덧붙였다.