KAIST, 바이너리 취약점 탐지 자동화기술 개발

'B2-R2' 선보여...AI 기반 자동화 해킹 위협 대응

한국과학기술원(KAIST)은 지난 3년간 전산학부 차상길 교수와 연구실 학생들이 사이버보안연구센터와 함께 개발한 바이너리코드 취약점 분석 및 탐지 시스템 'B2-R2'를 선보였다고 11일 밝혔다.

KAIST 측에 따르면 B2-R2는 ▲소프트웨어 보안취약점 분석 ▲악성코드 분석 ▲난독화 해제 ▲보안 패치 ▲익스플로잇 자동 생성 등 컴퓨터 보안 분야에 활용할 수 있는 원천기술을 갖고 있다. 과학기술정보통신부 2016~2018년 연구과제 '바이너리 코드 분석을 위한 자동화된 역공학 및 취약점 탐지 기반 기술 개발' 성과다.

한국과학기술원(KAIST) 로고

KAIST 측은 B2-R2 시스템이 뛰어난 활용성, 분석 속도, 용이성, 연동 프로그래밍 언어 다양성을 제공한다고 밝혔다. 윈도, 리눅스, 맥OS, 안드로이드, iOS 운영체제에서 쓸 수 있다고 강조했다. 바이너리를 해외 분석시스템 대비 2~100배 빨리 처리하고, 함수형 프로그래밍 언어 F#을 사용했으며, 32개 프로그래밍 언어와 연동된다는 설명이다.

B2-R2 시스템의 주요 개발 배경과 특징은 지난 4일 '차세대 바이너리 분석 플랫폼 B2-R2 기술설명회'를 통해 공개됐다. 설명회에서 B2-R2는 현장에서 위와 같은 장점을 갖춘 국내 최초 바이너리 코드 분석 시스템이자 이 분야를 선도하는 미국 카네기멜론대학교(CMU)의 BAP와 캘리포니아대학교 산타바바라 캠퍼스(UCSB)의 앵거(Angr) 등을 뛰어넘은 시스템으로 묘사됐다.

바이너리코드 취약점 분석과 탐지 기술은 공격할 시스템의 약점을 파고들거나, 그걸 예방하기 위해 미리 문제를 찾기 위해 공통적으로 필요한 기술이다. 이런 바이너리 분석 기술의 중요성은 지난 2016년 미국 국방성 DARPA 주최로 진행된 컴퓨터간 해킹 공격 방어 대회 '사이버그랜드챌린지(CGC)'가 열리면서 재조명됐다. CGC는 컴퓨터가 자동으로 해킹을 수행하고 그걸 방어하는 기법을 겨루는 대회다.

2018년 12월 4일 KAIST 차세대 바이너리 분석 플랫폼 B2-R2 기술설명회 현장. [사진=KAIST]

자동화된 컴퓨터 시스템 중에서도 인공지능(AI)은 특정 분야에서 기계에 인간의 역량을 뛰어넘을 수 있는 처리능력을 부여할 수 있는 기술이다. 해킹에 AI를 활용시 인간 사이버보안 전문가가 일일이 대응하기 어려운 속도와 규모의 공격을 시도할 수도 있다. 그간 사이버공격 수행 해커는 인간이었지만 앞으로 관련기술 발전으로 AI 해커가 출현할 가능성과 그에 대비할 필요성에 무게가 실린다.

이런 관점으로 볼 때 B2-R2는 해킹과 사이버보안 패러다임이 AI 시스템을 동원한 자동 공격과 방어 체제로 전환될 시대에 대비할 수 있는 기술로도 풀이된다. B2-R2 시스템에 적용된 바이너리코드 취약점 분석 및 탐지 기술은 AI 해커같은 기계 기반 자동화 해킹이 일반화될 수 있는 차세대 위협 대응에 핵심이 될 수 있다. KAIST가 B2-R2를 소개하며 'AI 기반 컴퓨터 자동 공격·방어의 시작'이라고 강조한 배경이다.

KAIST에 따르면 B2-R2 시스템 개발을 주도한 차상길 교수는 CGC 우승을 차지한 시스템 '메이헴(Mayhem)' 핵심엔진 주 설계자다. 지난 11월 30일 한국판 CGC인 '2018년 정보보호 R&D 데이터 챌린지'의 AI 기반 취약점 자동 탐지 분야에서 우승한 시스템도 차상길 교수와 KAIST 학생들이 개발한 B2-R2 기반 기술이 적용돼 있었다는 설명이다.

과학기술정보통신부는 지난 2016년 4월부터 올해 말까지 KAIST가 주관하고 가천대학교 산학협력단 및 한국시스템보증이 참여한 '바이너리 코드 분석을 통한 자동화된 역공학 및 취약점 탐지 기반기술 개발' 과제를 지원했다. 과제책임자 KAIST 전산학부 차상길 교수는 과제 수행 성과로 '바이너리 코드 분석을 통한 취약점 탐지 기반 프레임워크'를 공개했다.

지난 4일 '차세대 바이너리 분석 플랫폼 B2-R2 기술설명회'에서 B2-R2 시스템을 소개한 KAIST 차상길 교수.

차 교수는 2008년 고려대학교 전기·컴퓨터 공학부 학사, 2009년 미국 카네기멜론대학교(CMU) 전기·컴퓨터 공학부 석사, 2015년 CMU 전기·컴퓨터 공학부 박사 학위를 받고 2014년 미국 컴퓨터학회(ACM)가 우수논문을 선별해 시상하는 'Distinguished Paper Award'를 수상한 인물이다. 2015년부터 현재까지 KAIST 전산학부 조교수를 맡고 있다.

KAIST는 정보보호 전문가들이 국내 관련 대회 결과와 설명회를 통해 드러난 B2-R2 시스템의 핵심기술 수준을 AI 기반 취약점 자동 탐지 및 대응 분야 세계 선도 수준이라 평가하고 있다고 강조했다.

KAIST 김용대 사이버보안연구센터장은 "(기성 솔루션이 자리잡고 있는) 분야에 직접 부딪쳐가면서 바이너리 보안 기술을 연구할 연구자는 많지 않을 것이라고 생각했는데 그런 역할을 해 준 차 교수에게 감사를 느낀다"며 "이 연구 결과를 바탕으로 많은 연구자, 현업 개발자들이 응용 기술을 개발하고 제품을 만들고, 실제 국가보안 분야에도 기여할 수 있길 바란다"고 말했다.