[기고] AI에게 어디까지 맡길 것인가

챗GPT 등장 이후 인공지능(AI)과 신기술, 혁신적인 서비스의 개발을 해하지 않으면서도 이용자의 권리와 개인정보를 보호하려면 어떤 것을 고려해야 할 지에 대한 논의가 최근 활발해진 분위기다. 급변하는 정보사회에서 AI와 개인정보 보호에 있어 우리 사회가 취해야 할 균형 잡힌 자세가 어떤 것인지에 대해 법무법인 태평양 AI팀에서 [AI 컨택]을 통해 2주 마다 다뤄보고자 한다. [편집자주]

AI를 둘러싼 기업의 고민이 달라지고 있다. 얼마 전까지만 해도 기업의 관심은 '직원들이 AI를 어디까지 사용하도록 허용할 것인가'에 집중됐다. 회사 정보를 입력해도 되는지, AI가 작성한 결과물을 그대로 사용해도 되는지 등이 주된 문제였다.

AI가 에이전트의 모습으로 진화하면서 질문도 바뀌고 있다. 이제 AI는 사람이 질문하면 답변을 생성하는 데 그치지 않는다. 이메일을 보내고 일정을 조정하고 여러 시스템에 접속해 업무를 처리한다. 사람에게 목표를 부여받은 뒤 필요한 작업을 스스로 나누고 실행하는 단계로 발전하고 있다.

새로운 질문이 생긴다. AI에게 일을 맡길 수 있다면 그 AI가 잘못했을 때 책임은 누구에게 물어야 할까. 직원이 생성형 AI에게 계약서를 요약해 달라고 요청하는 것과 AI에게 거래처를 비교해 업체를 선정하고 주문까지 진행하라고 지시하는 것은 전혀 다른 문제다.

후자의 경우 AI는 가격과 조건을 조사하고 거래처와 이메일을 주고받으며 내부 시스템에 접속해 실제 업무를 수행한다. 이 과정에서 AI가 잘못된 가격으로 주문하거나 개인정보나 영업비밀을 외부로 전송하거나 회사가 의도하지 않은 약속을 한다면 AI의 오류는 더 이상 잘못된 답변에 머물지 않는다. 실제 기업 활동과 법적 책임으로 이어질 수 있다.

AI 에이전트 시대에는 AI의 성능만큼이나 AI에 어떤 권한을 부여할 것인지가 중요해진다. 이 변화는 지난 2일부터 대부분의 규정이 적용되는 유럽연합(EU)의 'AI 액트'에서도 확인할 수 있다.

특히 사람과 직접 상호작용하는 AI 시스템은 상대방이 AI와 상호작용하고 있다는 사실을 알 수 있도록 해야 하는 등 투명성 의무가 적용된다. EU 집행위원회는 AI 에이전트를 별도 규제 대상으로 정의하지 않으면서도 그 구조와 기능에 따라 AI법상 AI 시스템 등에 해당할 수 있다고 설명하고 있다.

중요한 것은 AI 에이전트라는 명칭이 아니라 AI가 실제로 무엇을 하는가다. 내부 문서를 요약하는 AI와 고객과 직접 대화하고 회사의 시스템에 접속해 업무를 수행하는 AI의 위험이 같을 수는 없다.

기업은 직원에게 업무를 맡기면서 회사의 모든 권한을 주지 않는다. 직급과 업무에 따라 정보 접근권한을 달리하고, 계약이나 지출에는 전결 기준을 두며 중요한 거래에는 추가 승인을 요구한다. AI 에이전트에도 같은 접근이 필요하다.

어떤 데이터에 접근할 수 있는지 누구에게 이메일을 보낼 수 있는지 어느 금액까지 거래할 수 있는지 어떤 행위에는 반드시 사람의 승인을 받아야 하는지를 미리 정해야 한다. AI 에이전트에게 업무를 맡긴다는 것은 결국 AI에 일정한 디지털 권한을 부여하는 일이기 때문이다.

동시에 AI의 행동을 추적할 수 있어야 한다. 사고가 발생했을 때 누가 어떤 업무를 지시했고 AI가 어떤 정보에 접근해 무엇을 했으며 어느 단계에서 사람이 승인했는지 확인할 수 없다면 사고의 원인과 책임 소재를 파악하기 어렵다.

앞으로 AI 내부통제에서는 '무엇을 금지할 것인가'뿐만 아니라 '어떤 권한을 줄 것인가', '언제 사람이 개입할 것인가', '무엇을 기록할 것인가'가 중요해질 것이다. AI 에이전트 발전을 막는 것이 해답은 아니다. 오히려 AI에게 반복적인 업무를 맡기고 여러 시스템을 연결해 자동화하는 능력이 기업의 경쟁력을 좌우할 가능성이 높다.

필요한 것은 모든 AI 행동을 사람이 일일이 승인하는 것이 아니라 위험에 따라 자율성의 범위를 다르게 설계하는 것이다. 회의 일정을 조정하는 AI와 수억원 규모의 구매계약을 체결하는 AI에 같은 통제를 적용할 이유는 없다.