상금 수백만 달러 시대…미국서 뜨거워진 AI 보안

윤인수 KAIST 교수 "버그 찾기보다 ‘패치 성공률’이 승부"

“해킹 대회 상금 규모만 수백 달러를 돌파한 것은 미국에서 AI 활용한 보안에 대한 관심이 뜨겁다는 것을 알 수 있다."

윤인수 KAIST 교수는 30일 열린 과학기술정보통신부 주관 ‘AI 페스타 2025’ 부대행사인 ‘대한민국 사이버보안 컨퍼런스’에서 실전형 AI 보안 경진대회 최신 흐름을 공유하며 이같이 말했다. 

윤 교수가 속함 '팀 애틀랜타'는 최근 세계 최대 해킹 콘퍼런스 ‘데프콘(DEF CON) 33’ 내 ‘AI 사이버 챌린지(AIxCC)’에서 최종 우승했다. KAIST, 삼성리서치(김태수 상무), 포항공대, 조지아공대 등 국내외 연구진 40여 명으로 구성된 이 팀은 총상금 2천950만 달러 규모 대회에서 우승 상금 400만 달러(약 55억원)를 받았다. 미국을 중심으로 실무에서 바로 쓸 수 있는 인공지능(AI) 보안 시스템에 대한 관심이 커지고 있다는 것이 그의 설명이다.

윤인수 KAIST 교수 (사진=지디넷코리아)

윤 교수는 "불과 1년 사이 대회 난이도와 참가 시스템 수준이 급변했다"며 “실전 코드에서 취약점을 자동으로 찾아 고치고, 빠르게 배포해 운영까지 연결하는 능력이 글로벌 보안대회의 핵심 역량으로 부상했다”고 강조했다. AIxCC 운영진도 실제 기업이 필요로 하는 과제를 의도적으로 배치해, 번들(묶음) 태스크와 델타 스캔(변경분 스캔) 등으로 코드 전역을 훑는 대규모 버그 탐색을 요구했다는 설명이다.

그는 “이번 대회는 패치 점수 비중이 버그 탐지보다 높다는 점이 특징”이라며 “팀 애틀랜타가 큰 점수 차로 우승할 수 있었던 배경”이라고 말했다. 팀은 C·자바 등 다중 언어 코드에서 취약점을 찾고 자동 패치까지 수행하는 엔드투엔드 파이프라인으로 경쟁력을 확보했다고 덧붙였다.

윤 교수는 대형언어모델(LLM) 활용을 영화 ‘인크레더블’의 아기 캐릭터 ‘잭잭’에 비유하며 “엄청난 능력이 있지만 제어가 관건”이라고 했다. 초창기에는 프롬프트 기법으로 성능을 끌어올렸다면, 최근에는 펑션 콜, 외부 도구 결합, 에이전트형 아키텍처로 복잡한 태스크를 수행하는 흐름이 자리 잡았다고 설명했다.

이어 "초창기엔 어떻게 프롬프팅을 잘 해야 되느에 대한 얘기가 많았다면, 최근엔 펑션 콜(함수추출), 외부 툴 결합, 에이전틱 아키텍처로 복잡한 태스크를 수행하는 흐름이 자리 잡았다"고 설명했다.  

사아버 보안 컨퍼런스 전경 (사진=지디넷코리아)

그는 리저닝(추론) 특화 모델의 등장이 성능 도약을 이끌었다면서도, 컨텍스트 윈도우 한계(128K를 넘어가면 후반부 문장 손실)와 표현(워딩) 변화에 따른 성능 변동은 여전히 숙제로 남아 있다고 지적했다. 따라서 추론 모델+에이전트+전통 분석 도구를 결합하고, 한 경로가 실패해도 다른 경로가 동작하도록 오케스트레이션해 패치 안정성을 높이는 설계가 필요하다고 했다.