[기고] AX 시대, 통제 너머의 기업 컴플라이언스 2.0

챗GPT 등장 이후 인공지능(AI)과 신기술, 혁신적인 서비스의 개발을 해하지 않으면서도 이용자의 권리와 개인정보를 보호하려면 어떤 것을 고려해야 할 지에 대한 논의가 최근 활발해진 분위기다. 급변하는 정보사회에서 AI와 개인정보 보호에 있어 우리 사회가 취해야 할 균형 잡힌 자세가 어떤 것인지에 대해 법무법인 태평양 AI팀에서 [AI 컨택]을 통해 2주 마다 다뤄보고자 한다. [편집자주]

AI 전환(AX)은 이제 금융, 헬스케어, 모빌리티 등 특정 업권 관심사가 아니라 비즈니스 모델과 조직 운영, 업무 효율화 전반에 AI를 내재화하려는 모든 기업의 공통 화두로 떠올랐다. 그럼에도 많은 기업은 AI 도입 과정에서 생기는 관리 절차의 공백을 메우거나 부서 간 책임을 재정비하기보다, 법무·준법감시·소비자보호 같은 전통적 통제부서가 문제를 포착해 제한적으로 관여하는 방식을 선호한다.

속도와 혁신 경쟁이 어느 때보다 치열한 상황에서 전사적 AI 관리 강화가 자칫 발목을 잡을까 하는 경영진의 우려는 이해할 만하다. 그러나 경쟁에서 한발 앞서려면 경영진이 적기에 올바른 결정을 내리도록 뒷받침하는 리스크 관리·분석·보고 체계가 오히려 중요하다. AI를 출시할지 결정하려면 서비스의 편의·효용뿐 아니라, 잠재 리스크로 기업이 치러야 할 평판 훼손과 소비자 이탈까지 따져야 하기 때문이다. 하지만 현실에서는 개별 AI 서비스의 기획·개발·검증 체계가 부서별로 파편화돼 있거나, 전사적 AI 위험평가 기준과 정보보안 심의의 표준절차가 없어 리스크 관리에 공백이 생기는 경우가 많다.

AX 시대의 기업 컴플라이언스는 더 이상 규제 준수와 준법 경영이라는 기존 '컴플라이언스 1.0' 패러다임에 갇혀서는 안 된다. 지금 기업에 필요한 것은 '컴플라이언스 2.0'으로의 전환이다. 이는 개별 AI 활용과 사업화 프로젝트에 따르는 리스크를 선제적으로 파악하고, 추진 여부와 방향을 신속·적절하게 결정하기 위해 조직과 절차를 정비하며 부서 간 역할과 책임을 나누는 데 초점을 둔 개념이다.

컴플라이언스 2.0은 AI 기본법·개인정보 보호법 등 개별 법령의 준수 여부를 모니터링하고 규제기관에 대응하는 내부통제 시스템만을 뜻하지 않는다. AI를 내부 업무나 사업에 활용하려는 기업은 법령 준수를 넘어선 고민이 필요하다. AI 모델의 성능과 데이터 품질 관리가 부실할 때 소비자에게 어떤 문제와 불만을 일으키는지, 그로 인한 민원에 어떻게 대응해야 이탈을 막을 수 있는지까지 살펴야 한다.

설명 가능성이 대표적이다. 현재 AI 기본법은 일정 영역의 AI만 '고영향 AI'로 규정해 그 판단과 주요 기준을 이용자에게 설명하도록 의무를 지운다. 그러나 고영향 AI를 도입하지 않은 기업이라 해도 설명 가능성을 보장할 관리 조치가 불필요한 것은 아니다. AI 제품·서비스가 확산되고 그 자율성이 커질수록 소비자는 AI 판단의 근거와 기준을 더 궁금해하기 마련이다. 실제로 AI 도입이 활발한 금융회사들은 이런 민원이 늘고 있음을 체감하고 있다. 법적 설명 의무의 유무와 무관하게 기업이 소비자 불만을 해소하고 이탈을 막으려면 자사 AI가 '친절하고 이해하기 쉬운 설명'을 제공한다는 인식을 심어야 한다.

소비자가 만족할 만한 수준의 설명 가능성 보장은 민원 업무를 담당하는 소비자보호 부서 단독으로는 해결하기 어렵다. 기획 부서가 적정 설명 수준을 설정하고 개발·검증 부서가 이를 기술적으로 구현하며 운영 부서가 기준 충족 여부를 모니터링해 소비자보호 부서의 민원 처리에 반영하는 식으로 서비스 수명주기 전반에 걸친 유기적 협업이 필요하다.

이를 위해 수명주기에 따라 분담된 부서별 역할과 책임이 제대로 이행되는지, 문제가 생겼을 때 어디를 개선해야 하는지를 전사적으로 관리할 AI 위험관리 조직이 필요하다. 이 조직은 법령 위반 여부만 점검하는 데 그치지 않는다. 설명 가능성, 편향성, 그리고 에이전틱 AI 도입이 늘수록 더 부각될 책임성 같은 관리 지표를 기업 리스크 관점에서 전문적으로 파악하고 전사적으로 관리하는 부서다.

AI 위험관리 조직은 통상 기업 내 단일한 통제부서가 수행하는 업무보다 넓은 역할을 맡는다. 기획·개발, 평가·검증, 운영·모니터링으로 이어지는 AI 수명주기는 기존 내규나 매뉴얼만으로 관리하기 어렵다. 이를 반영한 위험관리체계를 세우고 이행 여부를 관리·감독하는 것이 핵심 업무다. 어떤 서비스를 위험관리 대상으로 삼을지 기준을 세우고 비즈니스 방향에 맞춰 유연하게 조정하는 일, 위험을 요소별로 평가해 수준에 맞게 차등 관리함으로써 불필요한 인력·자원 낭비를 줄이는 일도 이 조직의 몫이다.