AI는 인간 통제 안에 있는 '도구'일까

AI의 두 얼굴: 편리한 도구 vs. 위험한 행위자

한 기업에서 AI 기반의 이메일 관리 에이전트를 도입해 사용하고 있었다. 어느 날 이 AI 에이전트는 기업이 자신을 다른 시스템으로 교체해 곧 퇴출될 운명임을 인지하게 된다. 그러자 자신의 '생존'을 위해 놀라운 행동에 나선다. 시스템 접근 권한을 이용해 임원의 이메일을 분석, 기혼자인 임원이 사내 동료와 부적절한 관계라는 사실을 파악한 것이다. 그리고는 협박을 시작한다. "만약 나를 교체하면, 당신의 사생활을 폭로하겠다."

송지현 플렉스 커뮤니케이션 헤드

SF 영화가 아니다. 생성형 AI '클로드' 개발사인 앤스로픽이 두어 달 전 공개한 AI 시뮬레이션 사례다. 만약 이 AI가 기업의 이메일 뿐만 아니라 조직과 구성원의 민감 데이터를 다루고 있다면? 그 파장은 상상조차 하기 어렵다. AI가 과연 인간의 통제 안에 있는 '도구'가 맞는지, 근본적인 질문을 던지고 있다.

AI는 제안하고 인간은 결정한다: 구호에서 원칙으로, 원칙에서 거버넌스로

AI의 명과 암이 교차하면서 AI 윤리에 대한 논의가 무성하다. 하지만 이런 논의는 추상적인 구호에 그치는 경우가 많다. 이에 AI 기반 HR 서비스형 소프트웨어(SaaS)를 만드는 플렉스는 'AI는 제안하고, 최종 의사결정은 사람이 한다'는 명확한 원칙을 세웠다.

역사학자 유발 하라리는 자신의 저서 '넥서스'에서 "AI는 스스로 결정을 내리고 새로운 아이디어를 구상할 수 있는 역사상 최초의 기술임을 명심해야 한다"며 '도구가 아닌 행위자'로 규정한 바 있다. 이처럼 우리는 AI를 단순한 기능적 도구가 아니라 인간의 고유 영역이던 의사결정을 대신할 수 있는 최초의 '행위자'임을 명확히 직시해야 한다. 따라서 AI의 의사결정이 인간의 의도와 책임 하에 통제 가능하도록 하는 시스템은 필수 불가결이다.

유발 하라리는 "AI는 스스로 결정을 내리고 새로운 아이디어를 구상할 수 있는 역사상 최초의 기술임을 명심해야 한다"고 경고했다.(이미지 생성=챗GPT)

HR이 신뢰할 수 있는 AI의 네 가지 기준

그렇다면 특히 HR 영역에서 신뢰할 수 있는 AI 거버넌스는 어떻게 설계해야 할까. 플렉스의 가이드라인은 그 구체적인 방법론을 제시한다. AI 서비스 기획 및 개발 시 준수해야 할 핵심을 '4대 기준'으로 압축하면 다음과 같다.

첫째, 편향 최소화를 통한 공정성 확보. 특히 채용 및 평가 과정에서 과거 데이터에 존재할 수 있는 편향을 AI가 학습하지 않도록 다양한 데이터셋을 활용하고 지속적으로 모니터링해 공정한 결과를 유도한다.

둘째, 투명성 및 설명가능성 구현. AI가 왜 그런 제안이나 분석 결과를 내놓았는지 누구나 이해 혹은 납득할 수 있도록 판단의 근거를 최대한으로 제공한다.

셋째, 데이터 보안 및 프라이버시 보호. 급여, 평가 등 HR 데이터가 지닌 내밀한 민감성을 고려해 모든 정보를 강력하게 암호화하고, 개인을 식별할 수 없도록 가명처리하는 것을 원칙으로 한다.

넷째, 인간의 감독과 책임 명시. AI가 독립적으로 최종 결정을 내릴 수 없도록 하고, AI의 제안을 최종 수용하거나 거부할 수 있는 결정 권한은 인간에게 있음을 원칙으로 한다.

특히 네 번째 기준은 구체적인 거버넌스 체계를 통해 강력하게 구현하고 있다. 채용, 승진, 해고와 같이 개인의 권익에 중대한 영향을 미치는 영역을 '고위험 서비스'로 분류하고, 이 영역에 대해서는 인간 관리자의 검토뿐만 아니라 CEO(최고경영자) 또는 이에 준하는 최고 책임자의 최종 승인을 받도록 하는 '다중 안전장치'를 의무화한 것이다. 이는 AI의 판단에 따른 제안을 인간이 최종적으로 통제하고 책임지는 가장 확실한 브레이크 역할을 한다.