"개발자 95%가 AI 사용...공급망 보안 리스크도 더 커져"

이만희 한남대 교수 발표…"AI가 악용하면 큰 위험 부르는 취약 코드도 생성"

개발 코드 제작에 대부분 생성형 인공지능(AI)이 사용되고 있는 현실이다. 코드 제작에 필요한 시간을 획기적으로 줄여주고, 개발자 업무 피로도를 낮출 수 있기 때문이다. 그러나 이런 생성형 AI가 만들어낸 코드가 취약점이 있는 코드를 생성하면서 공급망 보안 리스크로 이어질 우려도 나온다.

이만희 한남대 컴퓨터공학부 교수는 9일 열린 '2025 AI 시큐리티&프라이버시 컨퍼런스'에서 이같이 밝혔다. 이 교수는 이날 '생성형 AI 시대의 공급망 보안 리스크'를 주제로 발표했다.

이만희 한남대 컴퓨터공학부 교수가 발표하고 있다.

이 교수 발표에 따르면 현재 95%의 개발자가 새로운 코드 개발에 생성형 AI를 사용하는 것으로 나타났다. 그러나 생성형 AI 사용으로 인해 추가 공급망 보안 리스크도 발생하고 있다.

구체적으로 ▲취약점 있는 코드 생성 ▲포이즌(poison) GPT ▲라이선스 문제 코드 ▲문제 라이브러리 의존성 문제 ▲미존재 라이브러리 의존 코드 생성 문제 등의 보안 위험이 꼽혔다.

이 교수는 "생성형 AI는 대규모 정적 데이터를 기반으로 학습하기 때문에 오래된 보안 패턴이나 취약한 코드를 학습 단계에 사용하고, 사용자의 코드 생성 요청에 이런 코드를 여과없이 노출시킬 수 있다"고 경고했다.

이 교수는 실제로 생성형 AI에게 코드 생성을 요청한 결과를 보여줬다. 그러자 생성형 AI는'strcpy()'라는 문자열에 끝이 없거나 공격적인 의도로 사용될 경우 큰 위험을 야기할 수 있는 코드를 표시했다고 밝혔다.

이에 그는 "다시 생성형 AI에게 같은 코드를 안전하게 만들어달라고 요청하자, 생성형 AI는 위험을 부를 수 있는 코드 대신 다른 안전한 코드를 생성했다"며 "따라서 코드 생성 요청 시 안전하게 요청하는 것이 중요하겠다"고 진단했다.

이 외에도 공격자가 정상 코드처럼 위장한 백도어, 원격 코드 실행(RCE) 등과 같은 데이터를 학습 세트에 몰래 섞는 '포이즌GPT' 공격이나, 생성형 AI의 '환각'(hallucination) 오류를 악용해 가짜이지만 그럴듯한 패키지 이름을 생성하고 공격자가 그 이름으로 실제 악성 패키지를 만들어 배포하는 등의 공격이 다른 위협으로 지목됐다.

이처럼 회사 및 오픈소스 개발에도 LLM(거대 언어 모델)이 활용되고 있고, 생성형 AI가 생성한 코드값이 생성한 취약·악성코드로 인한 보안 위험이 존재하고 있는 상황이다. 또 이를 악용해 실제 공격에 활용될 경우 공급망 공격으로 이어질 우려도 나온다.

이 교수는 대응책으로 ▲AI 추천 버전을 그대로 쓰지 않고, 취약점 DB(데이터베이스)와 교차 검증 ▲보안 패치가 유지되는 버전만 사용하는 프롬프트 활용 ▲운영 조직에서 허용된 라이브러리와 버전 목록을 관리 등을 꼽았다.

한편 '2025 AI 시큐리티&프라이버시 컨퍼런스'는 과학기술정보통신부와 한국정보보호산업협회(KISIA)가 주관하는 행사다.

이날 이 교수 외에도 김범수 연세대 정보대학원 교수가 'AI 시대 한국 프라이버시 보호 및 보안 생태계의 과제와 제안'을, 손병희 마음AI 연구소장이 '차세대 보안으로서 피지컬 AI 보안 동향 및 발전 방향'에 대해 발표했다.