AI 에이전트 위험 사전에 잡는다…카카오, 세이프티 장치 마련 속도

카카오가 행동하는 인공지능인 AI 에이전트 시대를 맞아 AI 리스크를 감지·평가·대응하는 체계를 구축하고, 위험을 탐지할 수 있는 기술적 조치를 마련해 빠른 시일 내 서비스에 적용할 것이라는 포부를 밝혔다.

김경훈 AI 세이프티 리더는 13일 경기도 용인시에서 열린 개발자 컨퍼런스 ‘이프카카오(if(kakao)26)’에서 “AI에 대한 리스크를 식별하고 이를 사전에 판단하는 것은 단 하나의 부서에서만 할 수 없다”며 기존 기능 조직과 TF를 구성해 AI 리스크를 관리하는 방법을 소개했다.

허브 역할을 하는 AI 세이프티는 AI 서비스에 어떤 리스크가 있을지 사전에 판단하고, 이를 바탕으로 검토 의견을 회신하는 조직이다. 서비스 부서는 전달된 가이드라인을 기반으로 서비스를 개선한다.

김경훈 AI 세이프티 리더가 13일 경기도 용인시에서 열린 개발자 컨퍼런스 ‘이프카카오(if(kakao)26)’에서 그동안 카카오가 시행해온 AI 세이프티 조치를 설명하고 있다. (사진=이프카카오 캡처)

이러한 과정을 거치면서 리스크가 수용 가능한 수준에 다다르면 AI 세이프티 조직은 보고를 올린다. 전사 리스크 관리 조직의 승인을 받고 서비스를 배포하지만, 모든 서비스가 이 같은 과정을 거치기는 쉽지 않은 상황을 고려해 카카오는 사전적으로 AI 리스크에 대한 가이드라인을 배포하고 위험을 줄여나가는 조치를 시행하고 있다.

여기에는 안전한 AI를 위한 핵심 체크리스트, 생성형 AI 사내 활용 정책, 생성형 AI 서비스 개발·AI 투명성 확보·AI 개발 안전 사용 가이드라인이 포함된다. 김 리더는 “가이드라인에 대한 수요는 점점 늘어나고 있고 AI의 발전 속도도 빠르다 보니 자사는 이를 지속적으로 고도화해 나갈 것”이라고 설명했다.

AI 리스크를 식별하는 것도 중요하지만, 기술이 빠르게 발전하는 현황을 고려해 이를 어떻게 평가할 것인지에 대한 중요도도 부각되고 있다. 기존에는 벤치마크 데이터셋을 활용해 각각의 모델에 프롬프트를 던져서 나온 응답을 모아 위험 요소를 사람이 직접 판단하고 점수화하는 수동적인 작업을 진행해왔다.

그러나 모델의 개수가 많아지고 서비스 종류가 많아지면서 카카오는 다양한 통제 환경에서 평가하기 위해 자체적인 평가 플랫폼을 구축하게 됐다. ‘카카오 AI 세이프티 이밸류에이션 플랫폼(가칭)’을 활용해 나온 결과를 모델과 서비스 개발 부서는 참고할 만한 지표로 활용하고, 전사에서는 평가 로그를 축적해 향후 회사가 나아가야 할 방향성에 대한 길잡이로 이용할 수 있다.

또 카카오는 AssurAI와 자체 평가 데이터셋으로 구분되는 자체 데이터셋을 구축했다. 대규모 데이터셋인 AssurAI는 텍스트와 이미지, 영상, 음성 등 멀티 모달 AI의 평가가 가능하다. 자체 평가 데이터셋은 한국의 사회적 맥락과 AI 서비스 특성을 고려해 만들어진 서비스 중심의 데이터셋이다.

평가 결과에 대한 신뢰성 확보를 위해 카카오는 AI 안전연구소와 업무협약을 체결해 AI 서비스와 기술에 대한 공동 평가를 이어가고 있다.

아울러, 투명성을 확보하고자 카카오는 AI 투명성 가이드라인을 수립하고 비가시적 워터마크를 도입했다. AI 기본법 시행에 발맞춰 AI 투명성 가이드라인을 사내에 배포했다. 이 가이드라인에서는 사전 고지와 표시 의무를 강조하고 있다.

카카오는 워터마크 삽입을 위해 구글 딥마인드와 협력해 신스ID(SynthID)를 도입하기도 했다. 이는 카카오톡을 통해 주고받은 사진으로 AI 영상을 만들 수 있는 카나나 템플릿에 지난달부터 적용됐다.

카카오는 에이전트 AI 시대에 들어서 새로운 위험을 대응하기 위해 AI 세이프티 이니셔티브 2.0을 운영한다. 이전의 1.0과 같이 AI 윤리 원칙을 근간으로 해 리스크 식별·평가·대응 관리 사이클을 보다 고도화한 것이 핵심이다.