"AI 보안, 지능형 공격 막기는 아직 무리"

이세돌과 알파고 간 바둑 대결 이후 관심이 높아진 머신러닝 기반 인공지능 기술은 보안 업계서도 키워드로 떠올랐다.

현재로서는 사람의 손을 타지 않는 인공지능 보안 시스템을 기대하기는 무리다. 그러나 일반적인 공격에 대해서는 기존 보다 높은 탐지율로 빠르게 대응하는데 도움을 줄 것으로 예상된다.

최근 매사추세츠 공대(MIT) 컴퓨터 사이언스 및 인공지능 연구소(CSAIL)는 머신러닝 스타트업인 패턴EX와 협업해 전체 네트워크 트래픽 중 사이버 위협을 최대 85%까지 탐지해낼 수 있는 플랫폼을 개발했다. 연구팀은 기존에 자동화된 사이버 공격 탐지 시스템과 비교해 3배 가량 높은 탐지율을 기록했고, 오탐률도 5배 이상 낮췄다고 밝혔다.

이들은 하루 평균 36억 줄(line)에 달하는 로그파일을 분석해 의심스런 행동을 알려주는 기술을 고안해냈다. 일명 'AI2'라 불리는 프로젝트다. 이러한 내용은 '빅데이터 보안'을 주제로 미국 뉴욕시티에서 개최된 IEEE 국제 컨퍼런스에서 발표됐다.

AI2는 머신러닝과 함께 보안분석가들의 분석역량을 결합시켰다. 네트워크 장비 등에 기록되는 수많은 로그를 자동으로 분석해 사이버 공격 탐지율을 높이는 작업을 자동화하는 것 뿐만 아니라 많은 데이터들이 입력될수록 더 정확하게 탐지 해내는 것이 목표로 한다.

연구팀이 고안해 낸 방법은 머신러닝에 활용되는 '비지도학습(Unspuervised learning)'과 '지도학습(Supervised learning)'을 조합해 사이버 공격에 대한 탐지율을 높이는 방식이다.

처음에는 수많은 로그 데이터들을 AI2에 입력시켜 정상적인 데이터와 다른 비정상적인 데이터를 추려낸다. 그 뒤 이 중 비정상적인 수치가 높은 데이터들만 따로 분류해 보안분석가들에게 실제 사이버 공격에 악용된 것인지 그렇지 않은지를 확인하는 작업을 거친다. 이렇게 분류된 내용은 다시 AI2에 입력된다.

이러한 과정을 반복적으로 수행해 사이버 공격에 대한 탐지율을 높이고, 오탐률은 낮추면서 빠른 속도로 공격에 대응할 수 있게 돕겠다는 것이다.

해커뉴스에 따르면 노틀담대 컴퓨터사이언스 전공 니테쉬 차울라 교수는 "(AI2는) 지속적으로 수시간 내에 새로운 모델을 만들어 내는 방법으로 탐지율과 탐지속도를 개선할 수 있도록 한다"고 밝혔다. 이 시스템이 더 많은 공격을 탐지해 낼수록 기존 보안분석가들로부터 더 많은 피드백을 받아 이후에는 더 정확도를 높일 수 있게 된다는 설명이다.

그러나 현재 기술로는 한계도 분명하다. 로그에만 의존하고, 결국엔 보안분석가들의 힘을 빌려야한다는 점 때문이다. 더구나 정상적인 트래픽을 위장한 지능형 공격에 대해서는 탐지해내기가 어렵다는 점도 해결해야할 과제다.

카이스트 김용대 교수는 "비지도학습, 지도학습을 활용해 여러가지 이상행위를 동시에 모니터링할 수 있다는 점은 장점이지만 결국 정상 트래픽에 가까운 지능형 공격에 대해서는 대응하기 어렵다"고 밝혔다. 예를들어 웹이나 방화벽에 이렇다 할 로그를 남기지 않은 방식의 은밀한 공격까지 탐지해내기는 어렵다는 지적이다.

지난해 글로벌 해킹컨퍼런스인 데프콘23에서 미국 방위고등연구계획국(DARPA)는 올해 데프콘24에서는 컴퓨터들 간 해킹대회(CTF)인 '사이버그랜드챌린지(CGC)'를 개최한다고 밝힌 바 있다. 상대팀 가상서버에서 취약점을 찾아내고 자신의 서버에는 해당 취약점에 대해 보안패치를 적용하고, 공격을 수행하는 일련의 과정을 해커가 아닌 컴퓨터가 대신할 수 있는 기술을 겨루게 되는 것이다.

올해 글로벌 보안컨퍼런스인 RSA2016에서는 마이크로소프트 애저 담당 최고기술책임자(CTO)인 마크 루시노비치가 '머신러닝과 클라우드: 위협 탐지 및 예방 무너뜨리기(Machine Learning and the Cloud:Disrupting Threat Detection and Prevention)'를 주제로 머신러닝과 클라우드를 보안분야에 접목시키려는 시도를 보여줬다.