"창작자 수익 보호"…클라우드플레어, AI 크롤러 웹사이트 접근 유료화

AI 크롤러 웹사이트 접속 여부 사전 설정·콘텐츠 사용 권한 통제 지원

클라우드플레어가 인공지능(AI) 크롤러의 웹사이트 접근을 유료화해 창작자 콘텐츠 통제권과 수익 모델을 강화한다.

2일 테크크런치 등 외신에 따르면 클라우드플레어는 AI 크롤러의 웹사이트 접근을 유료화하는 '페이 퍼 크롤(Pay per Crawl)' 마켓플레이스를 비공개 베타 형태로 출시했다. 이 마켓은 퍼블리셔가 AI 크롤러의 접근을 허용하거나 차단할 수 있는 시스템이다. 크롤당 과금 정책까지 직접 설정할 수 있다.

이 플랫폼은 퍼블리셔가 AI 크롤러의 방문 목적을 판별할 수 있도록 설계됐다. 목적이 AI 학습용인지 또는 검색 응답용인지 등 기타 목적에 따라 접근 허용 여부나 과금 조건을 다르게 설정할 수 있다.

클라우드플레어 로고. (사진=클라우드플레어)

퍼블리셔와 AI 기업 모두 클라우드플레어 계정을 보유해야 거래가 가능하며, 크롤 단위의 가격은 각자 설정한다. 클라우드플레어는 해당 거래 중개자로서 AI 기업으로부터 요금을 받아 퍼블리셔에 전달하는 역할을 맡는다.

이번 마켓플레이스 출시는 AI 챗봇의 부상과 검색 트래픽 감소로 생존 전략을 모색하는 언론사들의 고민과 맞물린다. 그동안 구글 검색 트래픽 유입으로 광고 수익을 얻는 구조였지만, AI 시대에는 콘텐츠만 소비되고 사이트 방문은 이뤄지지 않는 경우가 늘어난 추세다.

클라우드플레어에 따르면 구글 크롤러는 콘텐츠를 14회 긁을 때마다 1회 트래픽을 유입시키지만, 오픈AI는 1천700회, 앤트로픽은 7만3천회 긁을 때 1회 유입에 그친다. 

이와 동시에 클라우드플레어는 새롭게 개설되는 웹사이트의 기본 설정을 AI 크롤러 차단으로 전환했다. 퍼블리셔가 명시적으로 허용하지 않는 한 AI는 콘텐츠에 접근할 수 없다.

현재 타임을 비롯한 AP통신, 애틀랜틱, 애드위크, 포춘 등 언론사들이 이번 정책에 동참한 상태다. 외신은 이를 '허가 기반 크롤링(permission-based crawling)' 으로 평가하고 있다.

매튜 프린스 클라우드플레어 최고경영자(CEO) 겸 공동 창업자는 "AI시대에 인터넷이 지속 가능하려면, 퍼블리셔에게 정당한 통제권을 주고 창작자, 소비자, 미래의 AI 창업자 및 웹 생태계 전체가 상생할 수 있는 새로운 경제 모델이 필요하다"며 "우리는 창작자에게 권한을 돌려주는 동시에 AI 혁신은 지속할 수 있도록 균형을 잡고자 한다"고 밝혔다.