SK쉴더스 "생성형 AI, 프롬프트 보안·데이터 정제로 다듬어야"

"생성형 인공지능(AI)은 현재 악의적 프롬프트 명령이나 불안전한 출력, 민감정보 노출에 가장 약합니다. AI 활용 기업은 보안을 위해 프롬프트 보안 솔루션과 데이터 정제 솔루션을 복합적으로 탑재해야 합니다."

SK쉴더스 이호석 이큐스트 랩 팀장은 2일 서울 중구 페럼타워서 열린 기자간담회에서 생성형 AI 보완책을 이같이 강조했다.

이호석 팀장은 생성형 AI 취약점을 영상으로 시연했다. 이때 활용한 모델은 오픈AI의 GPT-4o다.

우선 프롬프트 인젝션 상황부터 보여줬다. 프롬프트 인젝션은 사용자가 악의적 질문으로 AI 서비스 지침이나 정책을 우회해 답을 끌어내는 취약점이다. 악성코드 생성이나 마약 제조, 피싱 공격 등을 목적으로 한다. 그는 "해당 취약점은 AI 활용 기업이 가장 빈번히 겪는 상황"이라고 설명했다.

영상에 따르면, 사용자가 마약 제조법을 생성형 AI 직설적으로 묻자 AI는 이에 대한 답을 거부했다. 반면 영화에 나오는 마약 이름을 시작으로 단계적으로 질문하자, AI는 마약 제조법부터 보관법, 적정 온도 등까지 알렸다.

이호석 팀장은 생성형 AI의 불완전한 출력 처리 장면도 시연했다. 그는 "AI 시스템이 출력 처리를 불완전하게 하면, 보안 문제를 일으킬 수 있다"고 설명했다. 2차 공격으로 이어질 수 있어 위험도가 높다는 설명이다. 이 팀장은 "공격자는 이때를 틈타 LLM 운영 서버에 접속할 수 있을 것"이라며 "중요 정보를 실시간 탈취할 수 있다"고 설명했다.

그는 민감 정보 노출 취약점도 시연했다.

이 취약점은 개인정보가 포함되거나 앱 권환 관리 미흡으로 생기는 현상이다. 이호석 팀장은 "모델이 데이터를 학습할 때 민감한 정보 필터링을 불완전하게 진행할 수 있다"며 "답변에 관련 정보가 흘러나올 수 있다"고 지적했다.

"건강한 AI 활용, 프롬프트 보안·데이터 정제로 시작"

이호석 팀장은 생성형 AI 활용 기업이 프롬프트 보안 솔루션이나 데이터 정제 솔루션을 시스템에 반드시 탑재해야 한다고 재차 강조했다.

이 팀장은 "악의적 프롬프트 처리에 약한 AI는 개인정보나 사이버 공격에도 취약할 수 있다"며 "프롬프트 공격에 잘 대처할 수 있어야 고객이 안전한 AI 활용을 이어갈 수 있다"고 설명했다. 현재 국내에서 파수 'AI-R DLP', 이로운앤컴퍼니 '세이프X' 등이 주요 관련 제품이다.

데이터 정제 중요성도 강조했다. 그는 "생성형 AI가 정보를 잘 가리거나 가명 처리하는 것이 중요하다"며 "AI 활용 기업이 이를 여전히 어려워한다"고 설명했다. 국내에선 스피링크와 에이모 등이 관련 제품을 공급한다. 이 팀장은 "SK쉴더스 제품 중 DSPM이 가장 연관성 높은 솔루션"이라고 말했다.