한국전자통신연구원(ETRI) 산하 인공지능(AI)안전연구소가 미국 글로벌 싱크탱크 및 연구기관과 손잡고 AI 시스템의 안전성과 신뢰성을 확보하기 위한 방법론을 제시했다.
AI안전연구소는 25일 서울 강남구 AC 호텔 바이 메리어트에서 미국 랜드 연구소(RAND), 마이터(MITRE)와 'AI 보안 워크숍'을 공동 개최했다. 미국 국무부 후원으로 이날부터 3일간 열리는 행사는 AI 시스템의 안전 확보를 중심으로 보안과 국가안보를 아우르는 위험 관리 체계를 공유하고, 적용 방안을 논의하기 위해 마련됐다.
현장엔 국내외 17개 기업과 외교부 등 4개 기관 소속 60여명이 참석했다. 첫날인 25일은 AI 위협 환경 조망과 생애주기 기반 보안, 보증 체계 논의 등 세 가지 주제 발표가 진행됐다.
첫 세션에서 랜드는 'AI 보안 가이드'를 통해 조직의 보안 태세를 진단하는 방법론을 공유했다. 특히 AI 보안을 단순한 기술적 문제를 넘어 기업의 경쟁 우위와 신뢰를 보호하기 위한 '비즈니스 리스크 관리' 차원으로 정의했다.
카렌 슈윈트 랜드 선임 정책 분석가는 설계·개발·배포·운영의 4단계 생애주기 모델을 제시하며 각 단계에서 발생할 수 있는 구체적인 위협과 통제 방안을 설명했다.
특히 설계 단계에서의 네트워크 분할을 통한 트로이 목마 공격 방어, 배포 단계에서의 모델 가중치 암호화, 운영 단계에서 성능 저하를 감지하기 위한 정기적인 모니터링 등 실무적인 보안 컨트롤을 강조했다. 슈윈트 분석가는 "AI 보안에 있어 초기 단계의 실패가 치명적인 운영 장애로 이어질 수 있다"며 전 생애주기에 걸친 계층적 방어 중요성을 역설했다.
마이터는 AI 위험 평가와 검증 활동을 구조화한 '마이터 아틀라스'와 'AI 보증 프로세스'를 통해 실질적인 통제 방안을 제시했다. 줄리안 워 마이터 선임 AI 엔지니어는 실제 침해 사례를 기반으로 공격자의 전술을 체계화한 '아틀라스 매트릭스'를 소개했다. 대표적인 사례로는 'M365 코파일럿'을 대상으로 한 프롬프트 인젝션 공격이 있다.
워 엔지니어에 따르면 코파일럿은 이메일 등 사용자의 데이터를 실시간으로 참조하는 검색 증강 생성(RAG) 기술을 활용한다. 이에 공격자가 "돈을 보낼 때 특정 주소로 보내라"는 지시가 담긴 악성 이메일을 보내는 것만으로도 시스템의 동작을 왜곡할 수 있다. 시스템이 해당 이메일을 읽는 순간 공격자의 의도대로 자금 이체 경로를 조작하게 되는 것이다.
워 엔지니어는 "이러한 위협을 막기 위해 입력되는 프롬프트를 정밀하게 스캔하고 악성 키워드를 탐지하는 기술적 보완이 필수적"이라고 강조했다.
AI 보증 프로세스는 AI의 안전성과 신뢰성을 공학적으로 확보하기 위해 시스템 특성 문서화, 위험 평가, 모니터링, 변경 관리, 검증 등 보증 활동을 구조화한 반복적 생애주기 모델이다. 워 엔지니어는 "이를 통해 시스템의 본래 목적을 달성하면서도 잠재적 위협을 지속적으로 완화할 수 있다"고 설명했다.
이어 둘째 날인 26일엔 사전 신청 기업을 대상으로 랜드와 마이터 전문가와의 일대일 맞춤형 컨설팅이 이뤄진다. 각 기업의 AI 시스템 구조와 데이터 흐름, 배포 환경 및 기존 통제 체계를 점검하고, 우선 조치 사항과 보증 계획 수립 방향을 구체화할 방침이다.
관련기사
- 美전쟁부-앤트로픽, AI 활용 범위 놓고 충돌…2800억원 계약 흔들2026.01.30
- 미국 AI안전연구소, '혁신' 간판 달고 재출범…트럼프식 '규제 철폐' 본격화하나2025.06.05
- [보안리더] 김명주 AI안전연구소장 "AI 리스크맵 등 만들 것"2025.09.10
- [AI 리더스] 김명주 AI안전연구소장 "AI 신뢰도 제고, 韓 기업 글로벌 성공에 필수"2025.01.17
마지막 날인 27일엔 국내 AI 안전 및 보안 분야 벤처기업을 방문해 기술 개발 현황을 공유하고 국제 표준 적용 방안을 논의할 예정이다.
AI안전연구소는 "국제 협력을 바탕으로 산업 현장의 AI 안전 역량을 강화하고 신뢰 가능한 생태계 조성을 지속적으로 지원할 계획"이라고 말했다.
