해커, 인공지능 취약점 노려 해킹 시도

보안 상 중요한 결정은 AI 아닌 사람이 담당해야

인공지능(AI)과 기계학습(ML)이 급격하게 발전하면서 이를 악용한 사이버 공격 기술도 발전하고 있다.

고도화된 기술을 바탕으로 한 사이버 공격과 방어가 치열해지면서 정확하게 현 상황을 분석할 수 있는 보안 전문가의 중요성이 더욱 두드러지는 것으로 나타났다.

국제 사이버 보안 얼라이언스(NCSA)의 켈빈 콜맨 전무이사 등 3명의 사이버보안 전문가는 최근 개최한 NCSA& 나스닥 보안 서밋에서 AI, 기계학습을 악용한 해킹 방법 세 가지와 대응 방안을 소개했다.

(이미지=Pixabay)

미국표준기술연구소 엘함 타바시 IT연구소장은 기계학습에 쓰이는 데이터셋을 이용한 데이터포이즈닝을 소개했다.

데이터포이즈닝은 AI 학습에 쓰이는 데이터셋을 조작해, 훈련된 모델의 행동을 제어하는 공격 행위다. 주로 기계학습 알고리즘 가용성과 무결성 두 가지를 공격한다.

가용성 공격은 학습데이터셋에 많은 잘못된 데이터를 주입해 학습한 AI를 성능을 낮추는 방식이다. 연구에 따르면 데이터세트의 3%가 오염되면 정확도는 11% 하락한다.

무결성 공격은 악성 코드가 포함된 데이터셋을 배포해 AI에 취약점을 만드는 것이다. 공격자는 조작된 데이터 셋으로 학습한 AI의 예측 동작을 제어해 악성 파일이 담긴 메일을 안전한 콘텐츠로 분류하거나 백도어를 설치하고 내부 데이터를 수정하는 등 AI의 잘못된 행동을 유도할 수 있다.

토바시는 데이터 중독이 된 AI모델을 이용하면 다른 AI까지 감염시킬 수 있다고 밝혔다.

이어서 “데이터는 기계학습의 피이자 연로”라며 “NIST는 정확성, 보안, 편향, 개인정보 보호 및 설명 가능성을 해결하기 위한 높은 수준의 지침과 기술적 요구 사항을 포함해 신뢰할 수 있는 국가지침을 마련하고 있다”고 설명했다.

두 번째 공격 방식은 대립네트워크생성(GAN)이다. AI가 보안시스템을 그대로 시뮬레이션해 취약점과 주요 데이터를 찾아내거나 트래픽 패턴을 모방해 보안을 무력화하는 방식이다.

팀 밴도스는 “GAN이 암호 크래킹, 멜웨어 탐지 회피, 안면인식 치팅 등에 사용될 우려가 있다”고 설명했다.

그는 “GAN을 막기 위해서는 공격자의 AI가 보안 시스템을 학습하기 전에 자주 알고리즘을 변경해야 한다”며 “적들이 진화하듯이 우리도 계속 진화해야 한다”고 강조했다.

세 번째 공격 방식은 학습된 AI의 알고리즘을 공격하는 것이다.

VM웨어 카본블랙의 그렉 포스 선임사이버 보안 전략가는 “최근 학습된 AI가 운영하는 암호화폐 거래 시스템이 해킹된 사례가 있다”며 “해커가 AI 알고리즘의 의사결정 모델을 알고 있다면 이를 악용해 잘못된 결정을 내리도록 조작할 수 있다”고 주장했다.

팀 밴도스는 “AI가 지능적인 결정을 담당할수록 외부 공격으로 인해 잘못된 결정을 내릴 가능성이 커지고 있어 중요한 의사 결정은 사람이 담당해야 한다”며 “보안 분석가와 위협 전문가가 슈퍼히어로라면 AI는 조수에 불과하다”고 말했다.