인공지능(AI)이 사이버 공격을 자동화하는 수단인 동시에 새로운 공격 대상으로 떠오르면서 고영향 AI 사업자에 대한 보안과 복원력 확보 의무를 강화해야 한다는 목소리가 나왔다. 현행 AI기본법에는 사이버보안이나 적대적 공격에 대한 복원력을 명시한 규정이 없어 AI 시대의 보안 위협에 대응하기에 한계가 있다는 지적이다.
국회입법조사처는 이달 초 발간한 'AI로 인한 새로운 보안 위험과 대응에 관한 국내외 입법·정책 비교 연구'에서 AI 발전에 따라 'AI에 의한 위협'과 'AI에 대한 위협'이 동시에 확대되고 있다고 분석했다.
보고서는 생성형 AI와 거대언어모델(LLM)을 활용하면 사이버 공격에 필요한 도구를 생성할 수 있으며 에이전틱 AI 사용 시 외부 도구와 시스템을 연동해 공격 과정을 자동화할 수 있다고 설명했다. AI 활용으로 공격자에게 요구되는 전문 지식이 줄어들면서 공격 준비 시간과 비용이 감소하고, 공격의 속도와 규모가 커질 가능성도 제기했다.
동시에 AI 자체도 새로운 공격 대상이 되고 있다. 머신러닝·딥러닝은 학습 데이터와 모델 자체, 생성형 AI·LLM은 입력과 생성 결과, 에이전틱 AI는 외부 도구 연동과 권한 위임 과정, 피지컬 AI는 센서 입력과 제어 명령이 주요 위협 지점으로 꼽혔다.
국내 제도는 이같은 변화에 충분히 대응하지 못하고 있다는 게 보고서의 분석이다. 현행 AI기본법은 고영향 AI 사업자의 책무와 영향평가를 규정하고 있지만 유럽연합(EU) AI법과 달리 사이버보안이나 적대적 공격 복원력에 관한 명문 규정이 없다.
보안 거버넌스가 공공·민간·금융 등 영역별로 나뉘어 있다는 점도 지적됐다. 국가정보원, 한국인터넷진흥원(KISA), 금융보안원 등이 각 소관 영역에서 위협 정보 공유와 사고 조사를 수행하지만 영역을 초월하는 사이버 침해 사고에 대한 범국가적 차원의 단일 정보 공유와 대응에는 한계가 있다는 것이다.
대안으로는 AI의 전 생애주기에 걸친 보안 설계와 복원력 강화를 비롯해 제로트러스트와 소프트웨어 자재명세서(SBOM)를 AI에 적용한 'AI-BOM'의 법제화가 제안됐다. 보고서는 AI 기반 방어와 신속한 패치 체계를 마련하고, KISA·금융보안원·국정원·경찰 등으로 분산된 침해사고 신고·대응 창구를 실무적으로 일원화하는 방안도 제시했다.
관련기사
연구 책임자인 이해원 강원대 법학전문대학원 교수는 "AI발 사이버 침해사고가 기존 사고보다 신속화·대량화·다각화·전문화돼 완벽한 방어를 기대하기 어렵다"고 말했다.
이어 "사고 발생시 선 복원력 확보 후 원인조사 및 책임추궁 체계 정립이 필요하다"고 부연했다.
