[기고] AI 모델은 과연 잊을 수 있는가

챗GPT 등장 이후 인공지능(AI)과 신기술, 혁신적인 서비스의 개발을 해하지 않으면서도 이용자의 권리와 개인정보를 보호하려면 어떤 것을 고려해야 할 지에 대한 논의가 최근 활발해진 분위기다. 급변하는 정보사회에서 AI와 개인정보 보호에 있어 우리 사회가 취해야 할 균형 잡힌 자세가 어떤 것인지에 대해 법무법인 태평양 AI팀에서 [AI 컨택]을 통해 2주 마다 다뤄보고자 한다. [편집자주]

학습이 완료된 AI 모델은 과연 특정 개인의 정보를 '잊을' 수 있는가.

우리나라 개인정보 보호법은 개인정보를 파기할 경우 이를 '복원 또는 재생되지 아니하도록' 조치할 것을 요구한다. 개인정보보호위원회 고시인 표준 개인정보 보호지침은 이를 '현재의 기술 수준에서 사회 통념상 적정한 비용으로 복원이 불가능하도록 조치하는 방법'이라고 설명한다. 즉, 우리 법제는 단순 삭제가 아니라 실질적 복원 불가능성을 기준으로 삼고 있다.

전통적인 정보처리 환경에선 이 기준이 비교적 명확했다. 데이터베이스에서 해당 정보를 삭제하고 백업 장치에서 제거하며 저장매체를 완전 파기하는 등의 조치를 취하면 된다. AI 모델은 이러한 전제를 뒤흔든다. AI 모델은 학습 데이터를 그대로 저장하는 것이 아니라 수많은 파라미터에 통계적으로 반영한다.

특정 개인 정보가 학습에 사용됐다 하더라도 이는 원형 데이터가 아닌 확률적 패턴의 일부로 모델 내부에 흡수된다. 그렇다면 학습 이후 모델에서 특정 개인의 정보는 저장돼 있다고 봐야 할까. 이를 어떻게 복원할 수 없는 방법으로 삭제했다고 판단할 수 있을까.

학습된 데이터의 삭제를 위한 기술적 대응으로 머신 언러닝이 논의되고 있다. 특정 데이터의 영향을 모델에서 제거하는 기법이다. 지난 2023년엔 뉴립스(NeurIPS) 경진대회 부문 일환으로 머신 언러닝 챌린지가 개최되기도 했다. 구글 연구진이 학계·산업계 연구자들과 공동 조직한 이 대회는 이미 학습이 완료된 모델과 포겟 셋(Forget set)이라 불리는 삭제 대상 데이터 집합을 제공하고, 재학습 없이 해당 데이터의 영향을 제거하는 알고리즘을 개발하도록 했다.

참가자는 삭제 품질과 모델의 유용성을 기준으로 평가받았다. 재학습 대비 일정 비율 이상으로 느린 알고리즘은 배제되는 등 효율성 또한 중요한 평가 요소로 설정됐다. 해당 챌린지에선 데이터베이스에서 원본을 삭제하는 것만으로는 충분하지 않으며, 학습된 모델에 미친 영향까지 고려해야 한다는 점이 강조됐다.

최근엔 멤버십 추론 공격을 통해 특정 데이터가 모델 학습에 사용됐는지를 추론할 수 있다는 점도 지적된다. 이는 데이터 원본이 삭제됐더라도 해당 데이터가 모델 학습에 사용됐는지 추론할 가능성이 여전히 남아 있음을 의미한다.

현 단계에서 완전한 언러닝은 상당한 비용과 기술적 제약을 수반한다. 특히 대규모 모델의 경우 사실상 전면 재학습에 가까운 조치를 요구하기도 한다. ICML 등 주요 AI 학회에선 머신 언러닝 연구와 워크숍이 이어지며 관련 기술의 실효성과 한계를 검증하려는 시도가 지속되고 있다.

AI 모델과 관련해 개인정보의 파기 의무를 어떻게 해석할지가 중요한 쟁점이 될 수밖에 없는 이유다. 우리 법이 요구하는 '복원 또는 재생되지 아니하도록' 하는 조치는 무엇을 의미하는가. 단순히 원본 데이터의 재현 가능성만을 문제 삼는 것인가, 아니면 모델의 통계적 구조 속에 잔존할 영향까지 제거할 것을 요구하는 것인가.

만약 후자까지 포함된다고 본다면 현 기술 수준에서 그 실현 가능성은 제한적일 수밖에 없다. 반대로 원본 데이터와 저장매체 차원의 삭제로 충분하다고 볼 때 모델 내부에 남아 있을 수 있는 학습 효과를 어떻게 평가할 것인지의 문제가 남는다.

삭제권은 개인정보 자기 결정권의 핵심이다. 다만 이를 기술 현실과 분리해 해석하면 선언적 권리에 머물거나 기업에 과도한 부담으로 작용할 위험이 있다. 동시에 지나치게 완화된 해석은 이용자의 신뢰를 약화할 수 있다.