AI가 익명·집계 데이터에서도 개인의 건강 상태와 행동 패턴을 추론하면서 개인정보 침해 위험이 단순한 데이터 유출을 넘어 AI의 판단 결과로 확산되고 있다. 개인정보가 직접 빠져나가지 않아도 민감 정보가 드러날 수 있어 기존 보안 체계만으로는 대응이 어렵다는 지적이 나온다.
3일 시장조사기관 가트너에 따르면 대부분의 개인정보 침해 사고는 오는 2029년까지 개인식별정보(PII)의 직접적인 유출보다 AI가 개인에 대해 생성한 추론에서 비롯될 것으로 전망됐다.
가트너는 기업들이 규제 준수와 관리 비용 절감을 위해 개인 데이터 보유량을 줄이고 있지만, 생성형 AI와 머신러닝 기술이 발전하면서 데이터 최소화만으로 개인정보 위험을 낮추기 어려워졌다고 판단했다. AI는 익명화되거나 여러 사람의 정보가 합쳐진 데이터에서도 개인의 건강 상태와 선호, 행동 패턴 등 민감한 정보를 유추할 수 있다.
개인정보 침해 방식도 달라지고 있다. 기존 공격은 고객 정보나 의료 기록, 금융정보 등 저장된 데이터를 탈취하는 형태가 중심이었다. 반면 추론 기반 공격은 실제 기록을 빼내지 않고도 공개 정보와 비식별 데이터, AI 분석 결과를 결합해 특정 개인의 특성이나 상태를 알아내는 방식으로 진행된다.
이 과정에서 만들어진 정보는 원본 데이터가 아니기 때문에 기존 개인정보 유출 탐지 체계에 포착되지 않을 가능성이 크다. AI가 잘못된 데이터를 바탕으로 부정확하거나 편향된 프로필을 생성해도 당사자가 이를 확인하거나 정정하기 어렵다는 위험도 있다.
바트 빌렘센 가트너 수석 애널리스트는 "개인정보 침해 양상이 데이터 유출에서 인사이트 유출로 바뀌고 있다"며 "AI는 기존 데이터 통제에 구애받지 않고도 개인에 대한 심층적인 인사이트를 재현할 수 있다"고 말했다.
기업의 개인정보 보호 범위도 데이터 저장과 접근 통제를 넘어 AI 시스템의 판단 과정으로 확대될 필요가 있다. AI가 개인에 관한 정보를 어떤 방식으로 생성하고 어디에 활용하는지, 추론 결과를 토대로 어떤 조치를 실행하는지까지 관리해야 한다는 의미다.
가트너는 기업들이 AI 프로필의 오류와 편향, 무단 생성에 대응하기 위한 투자를 늘리면서 2028년까지 데이터 무결성 보호 지출이 기밀성 보호 투자와 비슷한 수준에 이를 것으로 내다봤다. 또 데이터가 외부에 노출되지 않도록 막는 데 집중했던 보안 투자는 AI가 생성한 정보의 정확성과 신뢰성을 확보하는 영역으로 확대될 수 있다고 전망했다.
가트너는 "기업은 AI 개발과 배포 전 과정에 프라이버시 중심 설계 원칙을 적용하고 알고리즘 편향과 과적합, 의도하지 않은 추론 가능성을 정기적으로 점검해야 한다"며 "차등 프라이버시와 합성 데이터, 개인정보 보호형 머신러닝 등 개인정보 보호 강화 기술을 적용해 재식별 위험을 낮추는 방안도 필요하다"고 강조했다.
관련기사
- "보안 침투 시간, AI가 2.3년서 20시간으로 단축"2026.05.13
- 뉴엔AI, 제품 사고 징후 AI로 잡는다…산업부 R&D 낙점2026.04.20
- 빅밸류, 10년 만 첫 흑자…"올해 매출 100억원 목표"2026.04.13
- [현장] 데이터 단절이 AI 전환 막는다…데이터브릭스, 에이전틱 시대 정면 돌파2026.04.01
이에 맞춰 기업들은 데이터 수집 범위를 필요한 수준으로 제한하고 접근 권한과 보존 기간을 엄격히 관리하는 기존 정책도 유지해야 한다. 또 추론 기반 위협을 식별할 수 있는 이상 징후 탐지와 모니터링 체계를 마련하고 AI가 민감 정보에 관한 조치를 수행하기 전 사람이 판단을 검증하는 절차도 필요할 것으로 보인다.
빌렘센 애널리스트는 "개인정보를 데이터 보호의 문제로만 인식하는 기업은 AI 생성 추론으로 인한 개인정보 침해 사고에 갈수록 취약해질 것"이라며 "향후 개인정보 보호 위험은 기업의 데이터 저장 방식보다 AI의 데이터 해석 방식에 더 크게 좌우될 것"이라고 말했다.
