kt클라우드-카카오, 안전한 공공·금융 AI 만든다

'RAG 스위트 2.0'에 '카나나 세이프가드' 연동

kt클라우드가 카카오 손잡고 생성형 인공지능(AI) 서비스 안전성 강화에 나섰다. 

kt클라우드는 카카오와 AI 안전성 협력 체계를 구축하고 공공·민간 분야에서 신뢰할 수 있는 AI 활용 환경을 조성한다고 26일 밝혔다. 두 기업은 지난 25일 오후 카카오 판교 아지트에서 협약식을 열고 AI 안전성 협력 방안과 향후 추진 계획을 논의했다.

이번 협력은 kt클라우드 AI 인프라 플랫폼 역량과 카카오 AI 안전성 기술을 결합하는 것이 핵심이다. 생성형 AI 확산으로 유해 콘텐츠 생성과 프롬프트 주입 공격 개인정보 유출 문제가 커지면서 안전한 운영 환경 수요가 높아져서다.

kt클라우드 공용준 클라우드 본부장(오른쪽)가 김세웅 카카오 AI시너지 성과리더. (사진=kt클라우드)

kt클라우드는 협력 첫 단계로 지난 4월 내놓은 공공 고객 대상 검색증강생성(RAG) 기반 생성형 AI 서비스 플랫폼 'RAG 스위트 2.0'에 카카오 AI 가드레일 모델 '카나나 세이프가드'를 연동한다. 카나나 세이프가드는 한국어와 한국 문화적·법적 맥락에 특화된 AI 안전성 모델이다.

이 모델은 유해 콘텐츠 생성과 부적절한 응답 프롬프트 공격 등을 탐지하고 차단한다. 개인정보 탐지·마스킹 AI 응답 가드레일 '한글 문서 파서'와 '리랭크' 기능 등을 갖춰 보안성과 답변 정확도를 높인 것이 특징이다.

두 기업은 모델 안정성 평가 시스템과 AI 레드티밍 시스템을 kt클라우드 고객 환경에 단계적으로 제공한다. AI 레드티밍은 다양한 공격 시나리오를 기반으로 AI 서비스 취약 영역을 진단하는 체계다.

협력 범위는 AI 안전성 도구를 통합 관리하는 운영 플랫폼으로도 확대된다. kt클라우드 환경서 수집되는 고객 피드백과 운영 데이터 바탕으로 생성형 AI 서비스 개발 배포 운영 모니터링 전 과정을 관리하는 체계를 마련한다는 구상이다.

kt클라우드는 이번 협력이 공공기관과 금융권이 요구하는 보안·컴플라이언스 기준 대응에도 도움 될 것으로 보고 있다. 성능 중심으로 진행되던 AI 도입 논의가 보안성 신뢰성 책임성까지 포함하는 방향으로 넓어지고 있다는 설명이다.

김봉균 kt클라우드 대표는 "생성형 AI가 확산하면서 성능뿐 아니라 책임 있는 AI 활용 기반을 마련하는 것이 중요한 과제가 되고 있다"며 "이번 협력을 통해 AI 인프라와 안전성 기술을 결합하고 공공과 민간 고객이 보다 신뢰할 수 있는 환경에서 AI 서비스를 개발·운영할 수 있도록 지원하겠다"고 말했다.