[유미's 픽] 공공 AX 확대 속 AI 프라이버시 정책 '운영 단계'로…업계 부담 커진다

학습 적법성 넘어 서비스 운영 단계 책임 확대…컴플라이언스 강화

국내 인공지능(AI)·소프트웨어 업계가 개인정보 보호 대응을 기술 개발의 부수 요소가 아닌 핵심 경쟁력으로 재정립해야 할 것으로 보인다. 생성형 AI를 넘어 에이전트 AI, 피지컬 AI 등 차세대 기술이 서비스 현장에 빠르게 적용되면서 개인정보 리스크가 단순 유출 방지를 넘어 서비스 구조 전반의 신뢰 문제로 확산되자 정부가 정책 정비에 나섰기 때문이다.

4일 개인정보보호위원회가 발표한 '2026 AI 프라이버시 민관 정책협의회 운영 방향’에 따르면, 정부는 AI 확산으로 개인정보 리스크가 기존 유출·노출 중심에서 민감정보 추론, 딥페이크 악용, 프로파일링 등 새로운 형태로 확대되고 있다고 진단했다. 정책 논의의 초점도 모델 학습 단계에서 벗어나 에이전트 AI·피지컬 AI 등 서비스 운영 단계에서 발생할 수 있는 위험 대응으로 전환했다.

이에 맞춰 협의회는 데이터 처리기준, 리스크 관리, 정보주체 권리 등 3개 분과 체계로 운영한다. 또 '에이전트 AI 개인정보 처리기준' 마련(6월)과 AI 프라이버시 레드팀 방법론 연구를 추진할 계획이다. 여기에 자동화된 결정 대응 등 이용자 권리 보장 방안과 올해 3월께 'AI 이용 개인정보 보호수칙'도 제시할 예정이다. 향후에는 AI 정책 수립 과정에서 민관 의견을 폭넓게 수렴하고 부처 간 정책 정합성을 확보하는 자문기구로 기능을 확대한다는 방침이다.

특히 이번에 주목할 점은 협의회 논의 과제에 'AI 프라이버시 레드티밍(Red Teaming)' 방법론이 포함됐다는 점이다. 레드티밍은 공격자 관점에서 시스템의 취약점을 의도적으로 점검해 보안 허점을 찾아내는 방식으로, AI 서비스가 실제 운영 과정에서 맞닥뜨릴 수 있는 프라이버시 위협을 사전에 검증하는 절차로 활용될 수 있다. 이를 통해 기업들의 개인정보 보호 대응이 기존의 사후적·수동적 점검에서 벗어나 보다 공세적이고 예방적인 리스크 관리 체계로 전환될 가능성이 클 것으로 예상된다.

셀렉트스타 관계자는 "매우 빠른 AI 발전이 실질적 확산으로 이어지기 위해서는 관련 규제 환경의 신속한 맞춤 변화가 중요하다"며 "정부가 민관 정책 협의회 등을 통해 민간과 적극적으로 소통해 AI 업계의 규제 불확실성을 최소화할 것으로 기대된다"고 말했다.

개인정보보호위원회가 결성한 '2026 인공지능(AI) 프라이버시 민·관 정책협의회'가 2일 은행회관 국제회의실에서 전체 모임을 갖고 발족했다.

개보위의 이 같은 움직임에 AI 업계도 예의주시하고 있다. 정부의 규제 논의가 학습 데이터 적법성 중심에서 서비스 배포 이후의 운영 책임으로 이동하고 있다는 점에서 기업들은 향후 AI 서비스 전 과정에 대한 관리·감독 요구가 강화될 가능성에 주목하고 있다.

이 같은 변화는 에이전트 AI 확산과 맞물리면서 더욱 뚜렷해질 전망이다. 에이전트 AI는 사용자 대신 업무를 수행하며 다양한 데이터에 접근하고 서비스 간 상호작용을 통해 결과를 만들어내는 구조인 만큼, 개인정보 처리 책임의 경계가 더욱 복잡해질 수밖에 없다. 이에 따라 기업들은 서비스 설계 단계부터 데이터 처리 흐름과 사후 통제 체계를 함께 마련해야 하는 과제를 안게 됐다.

업계 관계자는 "그동안 기업들이 학습 데이터 적법성에 집중했다면, 앞으로는 서비스 운영 과정에서 AI가 어떤 데이터에 접근하고 어떤 결정을 내리는지가 규제의 핵심이 될 것"이라며 "에이전트 AI 확산은 프라이버시 컴플라이언스를 한 단계 끌어올리는 계기가 될 수 있다"고 말했다.

이러한 흐름은 민간 서비스뿐 아니라 공공 부문 AI 전환 확대와 맞물리며 업계 부담을 더욱 키우고 있다. 정부는 공공기관이 AI 신서비스를 기획하는 과정에서 개인정보 보호법 저촉 여부가 불확실한 경우가 많다는 점을 감안해 사전적정성 검토와 규제 샌드박스 지원을 병행할 계획이다. 정부의 공공 AX 예산은 2025년 5천억원에서 2026년 2조4천억원으로 5배 증가하며 33개 부처에서 206개 사업이 추진될 예정이다.

이에 공공 시장을 겨냥하는 소프트웨어 기업들 사이에서는 초기 설계 단계부터 프라이버시 보호 체계를 갖추지 않으면 사업 참여 자체가 어려워질 수 있다는 전망도 나온다. 

업계 관계자는 "공공 AX 사업이 급증하면서 AI 적용은 필수가 됐지만, 개인정보 이슈가 정리되지 않으면 사업 추진 속도가 늦어질 수밖에 없다"며 "기업 입장에서는 보호설계(PbD)를 선제적으로 반영하는 것이 경쟁력이 될 것"이라고 말했다.

글로벌 규범 역시 에이전트 AI를 중심으로 빠르게 정비되는 추세다. 미국 NIST 산하 AI 표준 및 혁신센터(CAISI)는 AI 에이전트의 데이터 접근권한 최소화와 사후 통제권 확보를 위한 논의에 착수했다. 영국 정보위원회(ICO)는 에이전트 AI 발전 단계별 시나리오를 제시하며 규제 고도화에 나서고 있다. 싱가포르는 '에이전틱 AI 정부 프레임워크'를 마련했다. 이처럼 국제적으로 샌드박스형 사전 검증과 인간 개입 원칙이 핵심 규범으로 부상하면서 국내 기업들도 글로벌 기준에 맞춘 대응 전략이 불가피해지고 있다.

업계에선 이번 발표를 계기로 AI 서비스 기업들의 프라이버시 대응 부담이 운영 단계까지 확대될 것으로 보고 있다. 에이전트 AI 확산에 따라 관련 리스크 관리 체계 마련이 주요 과제로 떠오르고 있다는 분석이다.

업계 전문가는 "AI 경쟁이 고도화될수록 기업들은 성능뿐 아니라 '신뢰 가능한 운영 체계'를 갖춘 곳이 시장에서 살아남게 될 것"이라며 "프라이버시 대응 역량이 향후 국내외 사업 확장의 결정적 변수로 작용할 가능성이 높다"고 말했다.