"AI가 한 행동, 책임은 누가?"…IBM, "에이전트 행동 기록 체계 구축해야"

[AI페스타26] 셀바두라이 IBM CTO "AI 모델 소유보다 행동 검증이 핵심"

"이제 인공지능(AI)은 단순히 정보를 제공하는 단계를 넘어 실제 업무와 의사결정에 관여하고 있습니다. AI가 어떤 행동을 했을 때 책임과 통제권은 누구에게 있는지 물어야 할 시기입니다."

셴커 V 셀바두라이 IBM 아시아태평양(APAC) 부사장 겸 최고기술책임자(CTO)는 7일 코엑스에서 열린 AI페스타26의 부대행사인 퓨처테크컨퍼런스에서 기업은 에이전트의 행동을 추적하고 증명할 수 있는 체계가 마련해야 한다고 강조했다.

셀바두라이 CTO는 AI가 에이전트 중심으로 발전하는 지금 두 가지 질문이 중요해지고 있다고 말했다. 모델과 컴퓨팅 자원, 데이터를 누가 소유하는지, 그리고 AI 에이전트가 실제로 한 행동을 누가 통제하고 책임지는지다.

셴커 V 셀바두라이 IBM 아시아태평양(APAC) 부사장 겸 최고기술책임자(CTO)(사진=지디넷코리아)

그는 두 질문 모두에서 한국이 세계에서 상당히 앞서 있다고 평가했다. 첫번쨰 질문의 경우 이미 자체 AI를 만들어 국내에서 활용하는 방식으로 이미 답을 냈다는 것이다.

두 번째 질문은 아직 어느 나라도 명확한 답을 내놓지 못했지만 한국은 AI 기본법을 먼저 시행하고 제조·조선·반도체 등 주요 산업에 에이전트를 도입하면서 이 문제를 가장 먼저 마주하고 있다고 평가했다.

그는 두 번째 질문에 답하는 일이 중요한 이유로 기업의 AI 도입 과정에서 발생하는 현실적인 문제를 들었다. AI 에이전트가 사용하는 모델과 도구가 수시로 바뀌면 행동도 달라질 수 있다. 이때 에이전트의 행동을 누가 통제하고 문제가 생기면 누가 책임질지에 대한 기준이 필요하다는 것이다.

셀바두라이 CTO는 이를 공장 기계의 검사 인증서에 비유했다. 그는 "검사 인증서를 받은 기계가 밤사이 스스로 부품을 바꿨다면 인증서만으로는 더 이상 현재 장비의 상태를 설명하기 어렵다"며 "AI 에이전트도 사용하는 모델과 도구가 수시로 바뀌면 승인받은 시스템과 실제 운영 중인 시스템이 달라질 수 있고 그 결과를 예측하거나 설명하기 어려워질 수 있다"고 말했다.

그는 이런 문제를 해결하려면 단순한 로그를 넘어 에이전트의 행동을 추적할 수 있는 기록이 필요하다고 강조했다. 로그가 시스템에서 어떤 일이 발생했는지를 보여준다면, 행동 기록은 에이전트가 무엇을 했고 누구의 권한으로 행동했는지 확인할 수 있게 한다. 문제가 생겼을 때 에이전트가 무엇을 하도록 승인받았는지가 아니라 실제로 무엇을 했는지 밝혀야 한다는 취지다.

셀바두라이 CTO가 해법으로 제시한 것은 기록이다. 무슨 일이 일어났다는 사실만 남는 로그와 달리, 기록은 에이전트가 무엇을 누구의 권한으로 했는지 보여준다면 누구의 책임이지 명확히 할 수 있다는 것이다.

그는 "예를 들어 은행에서 AI로 대출 심사를 하는 과정에서 장애가 발생했을 때 어떤 AI 모델이 판단했는지 아니면 외무 공급사가 임의로 AI 모델을 교체한 것인지 답하지 못하면 책임소지 뿐만 아니라 해당 심사가 옳았는지 증명하는 것조차 어렵다"고 설명했다.

이어 "그래서 IBM은 실제 업무에 에이전트를 사용 중인 기업들에게 세 가지를 점검할 것을 제안하고 있다"며 "어디서 실행되고 누가 멈출 수 있는지, 읽고 쓰는 데이터는 어디에 있는지, 행동 기록은 어디에 있고 누가 볼 수 있는지"라고 밝혔다.

그는 모든 AI를 직접 통제할 필요 없이 대출 심사처럼 결과를 되돌리기 어려운 업무에 적용하는 것으로 충분하다며 기록 기능은 나중에 덧붙이기 어려운 만큼 에이전트를 만들 때부터 넣으라는 조언도 덧붙였다.

셀바두라이 CTO는 "AI 행동의 주인은 무슨 일이 일어났는지 보여줄 수 있는 조직"이라며 "모델을 소유하는 것은 필요하지만 그것만으로는 충분하지 않다"고 말했다.

이어 "한국이 과거 초고속 인터넷을 빠르게 구축해 세계의 참고 사례가 된 것처럼 AI 에이전트의 책임과 승인 기준을 세우는 일에서도 앞장설 수 있을 것"이라고 말했다.