"LLM, 사이버 범죄에 악용 가능"...빅테크, AI 보안 취약점 해결 집중

명령 신뢰성 구분 못하는 LLM…안정장치 무력화 가능성↑

빅테크 기업들이 사이버 범죄자들에 의해 악용 여지가 있는 초거대 언어모델(LLM)의 핵심 보안 취약점을 해결하기 위한 노력을 강화하고 있다.

2일(현지시간) 파인내셜타임스 등 외신에 따르면 구글 딥마인드, 앤트로픽, 오픈AI, 마이크로소프트(MS) 등 빅테크들은 웹사이트나 이메일에 숨겨진 명령어를 통해 인공지능(AI) 모델이 기밀 정보 등 비인가 데이터를 노출하도록 속이는 ‘간접 프롬프트 인젝션’ 공격을 막기 위해 대응 중이다.

앤트로픽의 위협 정보팀을 이끄는 제이콥 클라인은 “현재 공격 체인의 모든 단계에서 AI가 사이버 공격자들에 의해 활용되고 있다”고 말했다.

(사진=클립아트코리아)

빅테크들은 외부 테스터를 고용하거나 AI 기반 도구를 활용하는 등 다양한 기술을 사용해 강력한 기술이 악용되는 것을 탐지하고 줄이기 위해 노력하고 있다. 그러나 전문가들은 업계가 아직 간접 프롬프트 인젝션을 완전히 차단하는 방법을 찾지 못했다고 경고한 상황이다.

LLM이 본질적으로 명령을 따르도록 설계돼 있어 사용자의 합법적인 명령과 신뢰할 수 없는 입력을 구분하지 못한다는 점이 문제의 핵심이다. 이는 사용자가 모델의 안전장치를 무력화하도록 유도하는 행동이 가능한 이유이기도 하다.

클라인은 앤트로픽이 외부 테스터들과 협력해 클로드 모델을 간접 프롬프트 인젝션 공격에 더욱 강하게 만들고 있다고 언급했다. 또 공격 발생 가능성을 탐지하는 AI 도구도 사용하고 있다고 덧붙였다.

그는 “악성 사용을 발견하면 신뢰 수준에 따라 자동 개입이 이뤄지거나 인적 검토로 넘어간다”고 설명했다.

구글 딥마인드는 ‘자동화된 레드티밍’ 기법을 활용한다. 자동화된 레드티밍 기법은 회사 내부 연구팀이 실제 공격과 유사한 방식으로 제미나이 모델을 지속적으로 공격해 취약점을 찾는 방식이다.

외부인이 악성 데이터를 학습 데이터에 삽입해 모델의 행동을 바꾸는 ‘데이터 포이즈닝’도 LLM의 또 다른 취약점이다. 앤 존슨 MS 부사장은 “수년간 공격자는 단 하나의 취약점을 찾으면 됐지만, 방어자는 모든 것을 지켜야 했다”며 “그러나 이제 방어 시스템이 더 빠르게 학습하고 적용하며 반응형에서 선제형으로 전환하고 있다”고 말했다.

기업들이 AI 도입을 확대함에 따라 AI 모델의 결함을 해결하려는 경쟁이 치열해지면서 사이버 보안은 기업의 최우선 우려 사항 중 하나로 부상하고 있다. 제이크 무어 ESET 글로벌 사이버 보안 고문은 “LLM 덕분에 해커들이 아직 탐지되지 않은 새로운 악성 코드를 빠르게 생성할 수 있어 방어가 더욱 어렵다”고 말했다.

매사추세츠공대(MIT) 연구에 따르면 조사된 랜섬웨어 공격의 80%가 AI를 활용했고, 지난해 피싱 및 딥페이크 관련 사기는 60% 증가했다 AI는 피해자의 온라인 정보를 수집하는 용도로도 사용된다. LLM은 SNS, 이미지, 음성 파일 등을 효율적으로 수집해 타깃을 분석할 수 있다.

무어 고문은 기업이 특히 이같은 공격에 취약하다고 지적했다. AI가 인터넷에서 임직원 공개 정보를 수집해 회사가 사용하는 소프트웨어를 파악하고 이를 기반으로 취약점을 찾기 때문이다.

전문가들은 기업들이 새로운 위협을 모니터링하고 민감한 데이터셋과 AI 도구 접근 권한을 제한해야 한다고 강조하기도 했다.