생성형 인공지능(AI)이 일상 깊숙이 파고들면서 디지털 세상의 신뢰가 새로운 시험대에 올랐다. AI가 만든 가짜 이미지와 영상이 진짜처럼 유통되고, 허위정보와 사칭 범죄가 확산하면서 온라인에서 무엇을 믿어야 할지 판단하기 어려워지고 있다. 기술의 발전 속도에 비해 이용자 보호와 사회적 대응 체계는 여전히 부족하다는 지적도 나온다. 지디넷코리아는 '안전한 AI의 길을 묻다' 기획을 통해 AI가 가져온 디지털 환경 변화와 그 이면의 문제를 짚어본다. 피해 실태와 제도적 한계, 플랫폼의 책임, 시민의 디지털 리터러시 등을 살펴보고 건강하고 신뢰할 수 있는 디지털 생태계를 만들기 위한 해법을 모색한다. [편집자주]
딥페이크 피해가 커지면서 인공지능(AI) 기술을 활용한 탐지 기법들도 속속 등장하고 있다. 하지만 새로운 기법이 나오기 무섭게 우회하는 기술들이 우후죽순처럼 고개를 들고 있어 우려가 깊어진다. AI 기술이 학습하지 않은 생성 방식이나 데이터 환경 앞에서는 성능을 제대로 발휘하기 힘들다는 연구 결과까지 잇따른다.
가짜를 놓치는 문제뿐 아니라 진짜를 가짜로 오인해 증거의 신뢰성까지 훼손할 수 있다는 지적이 제기되고 있다.
생소한 데이터 앞에선 탐지 성능 저하
더블린대학과 트리니티 칼리지 더블린 등 아일랜드 연구진은 지난 6월 국제 학술지 '인공지능 리뷰(Artificial Intelligence Review)'에 이미지·영상·음성 딥페이크 탐지 기술을 종합 평가한 연구 결과를 발표했다.
연구진은 10개 데이터셋에서 50개 탐지 방법을 검토하고 학습에 사용하지 않은 데이터 환경의 일반화 성능과 적대적 공격에 대한 저항력을 살폈다.
그 결과 다른 데이터 환경에 적용했을 때 탐지 성능이 떨어지는 현상을 확인했다. 논문은 분포가 다른 환경의 성능 저하를 10~15%로 제시했고 결론부에서는 교차 데이터 환경에서 15~20%의 성능 저하가 나타났다고 설명했다.
적대적 공격에 대한 취약성도 확인됐다. 공격자가 탐지 모델의 구조와 매개변수를 알고 이에 맞춰 입력을 조작하는 백색상자 공격에서는 방어되지 않은 모델에 대한 공격 성공률이 81.06~95.62%에 달했다.
탐지 모델이 학습한 특징과 판단 기준을 거꾸로 이용하면 조작물을 진짜로 분류하도록 속이는 게 가능하다는 이야기다.
특정 데이터셋에선 높은 정확도를 보이더라도, 처음 접하는 생성 모델이나 압축·편집을 거친 콘텐츠에서는 오판할 가능성이 크다는 게 연구 결론이다.
전문가들은 탐지 도구가 압축된 콘텐츠나 학습 과정에서 충분히 다루지 않은 콘텐츠에서 특히 신뢰성이 떨어질 수 있다고 지적했다.
한종기 세종대 교수는 "언어 데이터로 모델을 학습시켰을 때 잡음을 섞은 한국어 음성에서는 정확도가 34.78~53.28%로 떨어졌다"면서 "영어로만 학습한 음성인식 모델을 전처리에 쓴 방식은 진짜 음성의 93.47%를 딥보이스로 오판했다"고 짚었다. 그러면서 이런 문제를 극복하기 위해 "우리말 딥보이스 데이터셋이 필요하다"고 진단했다.
생성물 식별 워터마크, 압축 시 사라지기도
탐지 알고리즘 외에 생성 단계에서 식별 신호를 넣는 워터마크도 대안으로 활용된다. 구글 딥마인드의 신스아이디(SynthID)는 지원 모델이 만든 이미지·영상·음성에 눈으로 식별하기 어려운 표식을 넣고 전용 도구로 이를 확인하는 기술이다.
구글은 10월 7일 신스아이디 디텍터 이용 범위를 전 세계로 확대했다고 밝혔다. 이를 통해 구글과 파트너사의 지원 콘텐츠를 확인할 수 있도록 했다. 구글은 지금까지 이미지·영상 1800억개 이상과 음성 24만년 분량에 워터마크를 적용했다고 설명했다.
하지만 탐지 범위가 넓어졌다고 모든 AI 생성물을 찾아낼 수 있는 게 아니다. 지원하지 않는 모델이 만든 콘텐츠에는 해당 표식이 없을 수 있기 때문이다. 표식이 발견되지 않았다는 사실만으로 사람이 촬영하거나 녹음한 자료라고 판단할 수 없다.
독립적인 기술 검증에서도 문제가 드러났다. 신스아이디 테스트 결과 콘텐츠를 특정한 방식으로 자르고 압축하면 생성물 표식이 사라지는 사례가 확인됐다. 워터마크 기술도 변형, 공격 기법 앞에서는 정보를 유지하는 데 한계가 있는 것으로 드러난 것이다. 콘텐츠 수정 뒤에도 표식이 반드시 남는다고 가정하는 건 금물이다.
출처·편집 이력을 기록하는 C2PA도 만능 해법은 아니다. C2PA는 콘텐츠가 어떻게 생성되고 변경됐는지 암호학적으로 서명해 확인하는 표준이지만 영상 속 주장이나 사건의 사실 여부까지 판정하지는 않는다. 메타데이터가 편집이나 화면 캡처 과정에서 사라질 수도 있다. 이런 경우 출처 정보가 없다는 사실만으로 가짜라고 단정하면 안 된다.
9월에는 워터마크를 이용한 음성 탐지의 또 다른 취약성을 분석한 연구가 IEEE 신호처리학회에 소개됐다. 연구진은 합성 음성에만 워터마크가 있고 사람의 음성에는 표식이 없는 자료로 탐지기를 학습하면 모델이 음성의 진위보다 워터마크 유무를 지름길로 학습할 수 있다고 설명했다. 연구 결과 표식을 제거한 합성 음성을 놓치거나 사람의 음성에 표식을 넣었을 때 가짜로 오인하는 문제가 나타났다는 것이다.
통제된 실험에서는 음성을 가짜로 판별하는 문제 등이 반영된 동일오류율(EER)이 16%에서 75%로 상승했다. 동일오류율은 진짜를 가짜로 판단하는 비율과 가짜를 진짜로 판단하는 비율이 같아지는 지점을 나타낸다.
연구진은 상용 응용프로그램 인터페이스를 대상으로 한 시험에서도 음성에 워터마크를 더하자 가짜로 판단되는 현상을 확인했다. 연구진은 음성과 합성 음성 양쪽에 워터마크를 적용한 자료로 모델을 다시 학습하면 이런 문제를 줄일 수 있다고 제안했다.
음성 인증 기술을 개발하는 파워보이스의 정희석 대표는 "AI의 진화 속도가 워낙 빨라 완벽하게 대응하기는 어려운 상황"이라고 말했다. 딥보이스 기술이 발전하면서 이를 탐지하는 게 어려워지고 있다는 설명이다. 그러면서 딥보이스로 인한 피해를 막기 위해 다중 인증(MFA) 필요성을 강조했다.
디지털 증거 확보 없인 범죄 생성물 소탕 어려워
탐지와 출처 검증 외에 수사기관의 포렌식 역량도 중요하다. 경찰청 국가수사본부는 10월 15일 영상·이미지뿐 아니라 음성과 문자까지 함께 분석하는 다중모달 딥페이크 탐지 기술을 개발하고 있다고 밝혔다. 영상 속 입 모양과 목소리의 일치 여부, 음성과 자막의 내용 등을 종합적으로 분석해 조작 여부를 판단하는 방식이다.
경찰은 2025년부터 2027년까지 91억원 규모 연구개발 사업을 진행 중이다. 2026~2029년에는 100억원을 투입하는 로컬 환경 AI 모델 포렌식 기술 개발도 추진하고 있다.
김종철 경찰청장 후보자는 앞서 "AI로 만든 가짜를 신속하게 찾아내는 것은 물론, 어떻게 만들어지고 유포됐는지까지 효과적으로 추적할 수 있는 첨단 수사 역량을 갖출 것"이라고 말했다.
전국 시도경찰청에는 AI 분석전문관 52명을 배치해 운영 중이다. 생성형 AI 서비스 실행 이력과 명령어 기록을 분석하고 조작에 사용된 프로그램을 식별하는 기법도 개발 중이다.
문제는 탐지 기술을 고도화하는 일과 범인을 특정하는 일은 별개라는 점이다. 탐지기가 합성 가능성을 높게 판단해도 누가 콘텐츠를 만들고 어떤 계정으로 유포했는지는 별도의 디지털 증거로 확인해야 하는 숙제가 남는다.
원본 파일과 게시 링크, 전달 경로, 계정·접속 기록, 사용 프로그램의 흔적 등이 부족하면 분석 결과만으로 수사 결론을 내리기 어렵다. 탐지 결과가 수사와 피해 구제에 쓰이려면 기술의 성능뿐 아니라 증거를 보존하고 공유하는 절차도 필요하다.
전문가들은 기술로 만든 거짓을 기술만으로 완벽히 막을 수 있다고 기대하기보다, 각 기술이 확인할 수 있는 범위를 분명히 하고 탐지 결과를 수사와 피해 구제에 연결하는 체계를 갖춰야 한다고 짚었다.
관련기사
- 어느 날 내가 딥페이크 피해자가 됐다2026.11.16
- 세무사시험 부정행위 파문...초소형 이어폰·카메라 온라인서 버젓이 판매2026.11.17
- 딥페이크 탐지 AI도 '구조적 한계'...보안 판 새로 짜야2026.11.17
- AI, 도입 넘어 가치 발굴로…델·구글 클라우드 등 총출동2026.11.17
허종욱 한림대 교수는 "AI가 점점 완벽해질수록 현재의 탐지 단서들이 사라질 수 있다"면서 기술만으로 해결하기에는 한계가 있다고 봤다. 그러면서 "이용자는 검증되지 않은 정보를 합리적으로 의심하는 태도가 필요하고, 확산을 억제할 플랫폼 차원의 대응 또한 중요하다"고 짚었다.
※ 본 보도는 한국언론진흥재단의 지원을 받아 제작됐습니다.








