[인터뷰] "챗GPT를 속여라"…해킹 대회서 주목 받은 韓 AI 보안 인재 누구?

한국서 열린 해킹방어대회에서 인공지능(AI) 문제가 처음 나왔다. 챗GPT 등 AI 서비스나 모델을 속여 보안을 뚫는 문제 형식이다. 명령어로 AI 모델 오류를 찾아내거나 상대팀을 방해하기도 한다. 이 탓에 이번 대회가 AI 취약점 인식과 AI 보안 구축에 도움 될 것이란 기대감이 나온다.

1일 업계에 따르면 과학기술정보통신부가 주최한 국제해킹방어대회 '코드게이트 2024'가 지난달 29일부터 30일까지 서울 코엑스 그랜드볼룸에서 성공적으로 마쳤다. 코드게이트는 올해부터 일반부와 만 19세 미만 주니어부로 나눠 진행됐다.

온라인 예선전에는 문제 풀이 방식으로 웹해킹, 포너블, 리버싱 등 다양한 분야서 발생할 수 있는 취약점 문제가 나왔다.

지난 29일부터 30일까지 과학기술정보통신부가 주최한 국제해킹방어대회 '코드게이트 2024'가 서울 코엑스 그랜드볼룸에서 열렸다.

일반부 예선전에는 총 90개국서 3천73명이 참가했다. 최종적으로 20개 팀이 본선에 진출했다. 이 중 14개 팀이 해외·연합팀이다. 본선에 진출한 한국 6팀과 미국, 러시아, 일본, 중국, 인도네시아 팀이 한데 모여 해킹 실력을 겨뤘다.

주니어부 예선전에는 44개국서 308명이 지원했다. 한국을 비롯해 이스라엘, 일본, 호주 등 다양한 국가 참가자들이 순위권에 올랐다. 20명이 본선에 이름을 올렸다.

이번 대회서는 일반부 25문제, 주니어부 22문제가 출제됐다. 출제 문제는 웹해킹, 리버싱, 포너블, 암호학로 이뤄졌다. 올해 처음으로 창의력을 요구하는 AI 문제도 등장했다.

일반부 1등은 블루워터 연합팀이 25문제 중 21문제를 풀어 2등과 높은 점수 차로 우승했다. 주니어부 1등은 맹서현 선린인터넷고 학생이 차지했다.

"명령어로 AI 공격…'데프콘'보다 쉽고 재밌어"

일반부과 주니어부 모두 AI 취약점 다루는 문제가 이번 코드게이트 대회 핵심이라고 입을 모았다. 해당 문제는 오픈AI의 챗GPT 등 AI 모델을 해킹해 시스템 취약점을 찾아내는 것을 목적으로 한다.

일반부 1등은 블루워터 연합팀.한국, 캐나다, 중국, 인도 멤버로 구성됐다.

일반부와 주니어부 멤버들은 AI 해킹 문제를 코드게이트에서 처음 접했다고 했다. 주니어부 1위를 차지한 맹서현 학생은 "AI 방화벽 문제가 나왔다"며 "AI가 공격을 공격으로 인지하지 못하도록 만드는 것이 관건이었다"고 설명했다. 이어 "AI 시스템을 우회해 해킹해야 했다"며 "이 과정을 모두 거쳐야 문제 풀이에 성공한다"고 덧붙였다.

일반부에는 모델에 명령어를 입력해 모델 오류를 잡아내거나 공격하는 문제가 나왔다. 이 때 팀은 명령어를 전략적으로 활용해 타팀 명령어가 AI 모델에 들어가는 것을 방해할 수도 있었다. 단순히 AI를 공격하는 것이 아니라 명령어로 타팀의 명령어 효력을 잃게 하고 공격을 극복함으로써 최종적으로 AI를 해킹하는 복합적 문제다.

일반부 1위를 차지한 블루워터팀 멤버는 "문제 풀이 과정에서 모든 팀 명령어가 AI 모델에 들어갔다"며 "누구도 모델 학습 결과를 예측하지 못해 더 흥미로웠다"고 소감을 밝혔다.

주니어부 3위 이타이 벨라데브(왼쪽부터), 1위 맹서현 선린인터넷고 학생, 2위 박서혁 선린인터넷고 학생.

해킹방어대회에 AI가 등장한 것은 사이버 공격자들이 생성형 AI를 해킹해 악용하는 사례가 지속적으로 늘고 있기 때문이다. 악의를 가진 사용자가 생성형 AI를 통해 개인정보를 유출하거나, 마약·폭탄 제조법 같은 유해한 내용을 알아내는 '프롬프트 인젝션' 행위가 성행하고 있다.

이에 과기정통부 등 코드게이트 주최 기관은 AI 보안 취약점을 비롯한 공격 방식, 대책 논의 활성화를 위해 AI 문제를 출제한 것으로 보였다.