AI는 '더러운 데이터'보다 '쓸 수 없는 데이터'에서 실패한다

"데이터가 엉망이라서요."

인공지능(AI) 프로젝트가 기대만큼 성과를 내지 못했을 때 가장 흔히 듣는 말이다. 틀린 것은 아니다. 가트너는 2026년까지 'AI-레디' 데이터를 갖추지 못한 AI 프로젝트의 60%가 중단될 것으로 전망했고, 조직의 63%는 AI에 맞는 데이터 관리 체계를 갖추지 못했거나 갖췄는지조차 모른다고 답했다. 그래서 많은 기업이 정제·표준화·품질관리에 예산을 쏟는다.

양희은 정보관리기술사

그러나 필자가 공공기관과 기업의 데이터를 직접 가명처리하며 만난 실패는 다른 얼굴을 하고 있었다. 데이터가 더러워서가 아니라 쓸 수 없어서 멈춘 프로젝트가 훨씬 많았다. 정제를 마친 데이터가 있는데도 개인정보라는 이유로 학습에 넣지 못하거나, 넣고 나서야 문제가 드러나 서비스를 내리는 경우다. 이번 글에서는 이 병목이 어디서 생기는지, 이를 풀 열쇠인 용도 적합 데이터와 프라이버시 거버넌스를 다룬다.

1. 데이터 품질의 착시: 깨끗한 데이터가 곧 맞는 데이터는 아니다

흔히 데이터 품질은 정확성·완전성·일관성 같은 절대 기준으로 평가된다. 하지만 AI에게 좋은 데이터는 '용도에 맞는 데이터'다. 가트너도 AI-레디 데이터는 유스케이스를 대표하고 오류·이상치·예상치 못한 패턴까지 담아야 한다고 강조한다. 이상거래 탐지 모델을 만들며 '튀는 값'을 지우면 품질 지표는 올라가도 모델은 잡아야 할 신호를 잃는다. 품질은 데이터의 고유 속성이 아니라 용도에 따라 달라진다.

여기에 따져야 할 것이 하나 더 있다. 그 용도로 '써도 되는가'다. 품질 기준을 모두 통과해도 그 용도로 쓸 수 없다면 AI에게는 없는 데이터와 같다.

2. '쓸 수 없는 데이터'의 세 얼굴

① 법적으로 쓸 수 없는 데이터. 서비스 제공용으로 수집한 고객 데이터를 AI 학습에 쓰면 목적 외 이용 논란이 생길 수 있다. 동의 범위, 적법 근거, 가명처리 요건을 따지지 않고 시작한 프로젝트는 개발 막바지 법률적 검토에서 멈춘다.

② 꺼낼 수 없는 데이터. 데이터를 외부 협력사나 클라우드, 해외 LLM API로 보내는 순간 처리위탁과 국외이전 문제가 따라온다. 망분리와 계열사 간 결합 절차도 장벽이다. 필자가 참여한 교통 분야 기관 과제는 데이터를 기관 밖에서 쓸 수 없어, 외부망과 분리된 처리 장비를 기관 내부로 반입해 현장에서 처리하고 결과물만 가지고 나왔다.

③ 보이지 않는 데이터. 가장 위험한 유형이다. 상담 녹취, 계약서, 이메일, 스캔 문서에는 이름·연락처·식별번호·건강정보가 섞여 있지만 정형 DB 중심의 보호 체계로는 잡히지 않는다. 정보보호 분야 기관의 상담 음성을 가명처리할 때도 개인정보는 정해진 칸이 아닌 대화 곳곳에 흩어져 있었다. 이를 검색증강생성(RAG)이나 학습 데이터에 그대로 넣으면 질문 한 줄에 개인정보가 흘러나온다.

세 경우 모두 정제 도구로는 풀리지 않는다. 필요한 것은 데이터를 '쓸 수 있게 만드는' 체계다.

3. 해법은 하나가 아니다: 용도에 따라 고르는 프라이버시 기술

개인정보를 다루는 방법은 '쓰거나 못 쓰거나'가 아니라 스펙트럼이다. 원본은 유용성이 가장 높지만 동의나 법적 근거가 명확한 범위에서만 쓸 수 있다. 가명정보는 추가 정보 없이는 개인을 알아볼 수 없게 처리한 데이터로, 통계 작성·과학적 연구 등의 목적이면 동의 없이 쓸 수 있어 내부 분석과 모델 학습의 현실적 선택지다. 익명정보는 활용이 자유로운 대신 정보 손실이 크다. 합성데이터는 원본의 통계적 구조를 학습해 새로 만든 데이터로 개발·테스트, 외부 협업, 희소 사례 증강에 강점이 있지만, 원본과 지나치게 닮으면 재식별 위험이 남아 검증이 필수다.

핵심은 '가장 안전한 방법'이 아니라 '용도에 맞는 방법'을 고르는 것이다. 내부 모델 학습에는 가명정보, 외부 협업이나 테스트에는 합성데이터, 대외 공개에는 익명화나 엄격히 검증된 합성데이터를 쓰는 식이다. RAG라면 색인 전 비정형 가명처리가 최소 조건이다. 무조건 익명화하면 쓸모가 사라지고, 무조건 원본을 쓰면 위험이 남는다.

지자체 CCTV 영상을 가명처리할 때도 같은 고민이 필요했다. 공개 보행자 데이터로 실험하니 얼굴을 블러 처리하면 사람 탐지 성능(mAP)이 0.595에서 0.579로 떨어졌지만, 생성형 AI를 이용해 가상 얼굴로 바꾸면 0.594로 거의 그대로였다. 같은 가명처리라도 방식에 따라 데이터의 쓸모가 달라진다는 뜻이다. 데이터를 외부에 공개해야 한다면 합성데이터가 답이 될 수 있다. 금융 분야 기관의 착오송금 데이터는 검증을 거친 합성데이터로 만들어 공공데이터포털에 공개됐다.

4. 프라이버시 거버넌스는 브레이크가 아니라 신호등이다

많은 조직이 개인정보 보호를 AI 프로젝트의 마지막 관문으로 여긴다. 다 만든 뒤 법무·보안 검토를 받으니 재작업과 지연이 반복된다. 개인정보보호위원회가 2025년 8월 공개한 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」가 목적 설정 단계부터 처리 범위를 정하고 CPO가 기획 초기부터 참여하도록 권고한 것도 같은 맥락이다.

신호등이 있는 교차로를 떠올려보자. 잘 설계된 거버넌스가 바로 이 신호등이다. '이 용도라면 이 처리 경로'라는 규칙이 미리 정해져 있으면 현업은 매번 처음부터 승인을 구할 필요가 없다. 거버넌스가 정교한 조직일수록 AI를 더 빨리, 더 넓게 확산시킨다.