"악성 이미지 생성 차단"…MS, 생성형 AI 악용 사이버범죄 법적조치 실시

챗GPT·달리 등 생성형AI 안전장치 우회해 유해 콘텐츠 제작 등 악용

마이크로소프트가 챗GPT, 달리(DALL-E) 등 생성형 인공지능(AI) 서비스를 악용한 사이버 범죄자들에 대해 법적 조치를 시작했다. 이들은 AI의 안전 제어 장치를 우회해 공격적이고 유해한 콘텐츠를 생성하는 데 활용한 것으로 밝혀졌다.

마이크로소프트 디지털 범죄 부서(DCU)는 13일 공식 홈페이지를 통해 AI 서비스의 안전성과 무결성을 보장하기 위해 법적 조치를 취하고 있다고 밝혔다.

발표 자료에 따르면 마이크로소프트는 지난해 7월 이번 사건을 발견했으며 이후 지속적인 조사와 함께 보안 조치를 강화했다고 전했다.

(이미지=마이크로소프트)

사이버 범죄자들은 애저 오픈AI 서비스 등 AI 플랫폼을 표적으로 삼아 공격을 감행했다. 이들은 공개 웹사이트에서 수집한 애저 API 키와 고객 인증 정보를 탈취한 뒤 이를 활용해 AI 모델의 안전장치를 우회했다.

이후 안전 장치를 우회한 AI 모델을 악용해 사이버 범죄 도구를 개발해 판매한 것으로 알려졌다.

조사 과정에서 발견된 사이버 범죄 도구 중 하나인 de3u는 비전문가도 유해 콘텐츠를 AI로 생성할 수 있는 방식으로 설계된 것으로 나타났다. 이 도구는 달리3 등 이미지 생성 도구를 통해 유해한 이미지를 대량으로 생성하는 데 주로 악용된 것으로 드러났다.

이 밖에도 스피어피싱, 허위 정보 유포 등 추가 사이버 범죄에 이용됐을 것으로 추측되고 있다.

마이크로소프트는 이 사건을 발견한 직후 이들의 애저 서비스 접근을 철회하고, 새로운 보안 대책을 도입했다. 또한 해당 범죄 활동이 중점적으로 발생한 웹사이트를 압수하고, 법원 명령을 통해 관련 증거를 확보했다.

더불어 추가적인 사용자 피해를 방지하기 위해 API 키의 안전성을 점검하고, 추가적인 인증 절차를 도입했다.

마이크로소프트 측은 이러한 위협 행위에 대해 강력히 대응하며 유사한 사건을 방지하기 위한 새로운 방안을 모색하고 있다고 밝혔다. 또 AI 기술이 안전하고 긍정적인 방향으로 활용될 수 있도록 지속적으로 노력할 것이라고 강조했다.

스티븐 마사다 마이크로소프트 DCU 법무 담당 어시스턴트는 "DCU는 약 20년간 사이버 범죄자를 저지하기 위해 노력해 왔다"며 "앞으로도 AI를 무기화하려는 조직에 법적 조치를 취하고 전 세계 공공 및 민간 부문의 다른 사람들과 협력해 모든 AI 플랫폼이 유해한 남용으로부터 안전하게 유지되도록 역할을 계속할 것"이라고 밝혔다.