[기고] 조직 안에 들어온 AI 에이전트…'누가 통제하는가'가 경쟁력

[AI 컨택] 자율 판단·행동하는 AI, 성능보다 권한 설계와 책임 구조가 관건

챗GPT 등장 이후 인공지능(AI)과 신기술, 혁신적인 서비스의 개발을 해하지 않으면서도 이용자의 권리와 개인정보를 보호하려면 어떤 것을 고려해야 할 지에 대한 논의가 최근 활발해진 분위기다. 급변하는 정보사회에서 AI와 개인정보 보호에 있어 우리 사회가 취해야 할 균형 잡힌 자세가 어떤 것인지에 대해 법무법인 태평양 AI팀에서 [AI 컨택]을 통해 2주 마다 다뤄보고자 한다. [편집자주]

AI 업계 화두가 생성형 AI에서 'AI 에이전트'로 넘어온 지도 꽤 됐다. 최근엔 기업들이 이를 실제 업무에 적용하기 시작하면서 분위기가 달라지고 있다. AI는 이제 단순히 질문에 답하는 수준을 넘어 목표를 이해하고 여러 단계를 거쳐 실제 행동까지 수행한다.

회의 내용을 정리하고 이메일을 보내는 수준 이상으로 일정 조율, 보고서 작성, 고객 응대, 계약서 검토까지 수행한다. 영업·인사·법무 등 업무별 특성에 맞춘 ‘개인화된 에이전트 AI’를 구축하는 사례들도 늘고 있다.

강정희 법무법인(유한) 태평양 변호사 (사진=법무법인 태평양)

하나의 범용 AI가 아니라 조직 내부 역할과 업무 흐름에 맞춰 여러 개 AI 동료를 배치하기 시작했다는 점이 인상적이다. 앞으로는 전사자원관리(ERP)·고객관리(CRM)·그룹웨어와 연결해 기업 내부 의사결정 과정 자체에 개입할 가능성도 크다.

문제는 여기서부터다. AI 에이전트는 사용자 목표를 해석하고 필요한 정보를 탐색하며, 여러 선택지 중 하나를 스스로 결정한다. 때로는 인간이 예상하지 못한 방식으로 문제를 해결하기도 한다. AI 에이전트에게 "출장 비용을 절감하라"는 목표를 부여했다고 가정해 보자. 에이전트는 항공권 가격을 비교하고 호텔을 예약하며 공급업체와 자동 협상을 진행할 수 있다. 

이 과정에서 특정 거래처를 반복적으로 우대하거나 내부 승인 절차를 우회하는 판단을 내린다면 어떻게 될까. 기존 법체계는 기본적으로 '누가 결정했는가'를 중심으로 책임을 판단해 왔다. 하지만 AI 에이전트 시대엔 이 질문이 점점 어려워진다. 인간이 직접 지시하지 않았더라도 AI가 스스로 최적화를 수행하는 과정에서 문제가 발생할 수 있기 때문이다.

AI 기본법이 고영향 AI에 투명성 확보와 안전성 검토, 위험관리 체계 구축을 요구하는 것도 같은 맥락이다. 이는 단순한 기술적 안전장치 문제가 아니라, 기업 내부에서 AI에 어떤 권한을 부여하고 누가 이를 관리·감독할 것인지에 관한 거버넌스 문제에 가깝다.

결국 중요한 것은 AI 성능만이 아니다. 기업이 AI에게 어디까지 권한을 부여할 것인지, 인간의 개입 지점을 어디에 둘 것인지, 그리고 문제 발생 시 책임 구조를 어떻게 설계할 것인지가 새로운 경쟁력이 될 수 있다.

AI 에이전트는 더 이상 단순한 소프트웨어가 아니다. 그렇다고 완전한 의사결정 주체도 아니다. 앞으로의 경쟁은 단순히 더 좋은 AI를 보유하는 것이 아니라, AI를 얼마나 안전하고 신뢰 가능하게 통제할 수 있는가를 중심으로 전개될 가능성이 크다.

*본 칼럼 내용은 본지 편집방향과 다를 수 있습니다.