클라우드플레어, 'AI 크롤러' 차단 확대…"콘텐츠 대가 정당해야"

광고 게재 페이지 대상 적용…AI 학습·에이전트 활용 통제 목표

클라우드플레어는 검색용 크롤러와 인공지능(AI) 학습·에이전트용 크롤러를 분리해 출판사와 웹사이트 운영자 콘텐츠 통제권을 강화한다.

1일(현지시간) 테크크런치 등 외신에 따르면 클라우드플레어는 올해 9월 15일부터 광고를 게재하는 페이지에서 '혼합 용도' 크롤러를 기본 차단한다고 발표했다. 혼합 용도 크롤러는 구글 검색 같은 전통적 검색과 AI 에이전트 실행·AI 모델 학습을 함께 수행하는 웹 크롤러다.

이번 정책이 적용되면 사이트 소유자가 설정을 직접 바꾸지 않는 한 혼합 용도 크롤러는 광고 페이지를 크롤링할 수 없다. 적용 대상은 기존 무료 고객을 비롯한 신규 클라우드플레어 고객, 기존 고객이 새로 설정하는 사이트다.

클라우드플레어는 올해 9월 15일부터 광고를 게재하는 페이지에서 '혼합 용도' 크롤러를 기본 차단한다. (사진=클라우드플레어)

외신은 이번 조치가 AI 모델 제공업체의 웹 콘텐츠 접근 방식에 영향을 줄 수 있다고 분석했다. AI 기업이 모델 학습과 에이전틱 서비스 구동을 위해 웹 콘텐츠를 수집하려면 크롤러 목적을 더 명확히 구분해야 해서다.

클라우드플레어는 "다수 웹사이트 소유자는 콘텐츠가 검색에는 노출되기를 원하지만 지식재산(IP)이 AI 학습이나 AI 서비스에 무료로 활용되는 것은 원하지 않는다"고 분석했다. 이어 "검색과 AI 학습을 크롤러 하나로 처리하는 구조가 문제"라며 "이 경우 사이트 운영자는 검색 노출을 유지하면서 AI 활용만 별도로 차단하기 어렵다"고 덧붙였다. 

이 같은 문제를 해결하기 위해 클라우드플레어는 출판사 콘텐츠 통제 권한을 강화하는 도구도 확대하고 있다. 앞서 웹사이트가 AI 봇 스크래핑에 비용을 부과할 수 있는 마켓플레이스 '페이 퍼 크롤'을 선보인 데 이어 이를 '페이 퍼 유스'로 확대할 계획이다.

페이 퍼 유스는 AI 기업이 콘텐츠를 단순히 가져갈 때뿐 아니라 해당 콘텐츠가 실제 가치를 창출했을 때도 출판사가 대가를 받을 수 있도록 설계됐다.

이번 정책은 출판사 대역폭과 컴퓨팅 자원 부담을 줄이는 효과도 기대된다. 클라우드플레어 데이터에 따르면 AI 크롤러 트래픽의 50% 이상은 변경되지 않은 페이지를 반복해서 가져오는 데 사용되고 있다.

클라우드플레어는 우선 세라믹.ai와 유닷컴을 파트너로 선정해 이 모델을 적용한다. 출판사가 참여를 선택하면 콘텐츠가 세라믹.ai의 AI 검색 결과에 반영되거나 유닷컴이 프리미엄 콘텐츠에 접근할 때 출판사는 이용 대가를 받을 수 있다.

매튜 프린스 클라우드플레어 공동창업자 겸 최고경영자(CEO)는 "인터넷 트래픽 상당 부분이 사람보다 봇·크롤러에서 발생하고 있다"며 "지속 가능한 생태계가 형성될 수 있도록 우리는 더 나아가고 더 빠르게 행동해야 한다"고 밝혔다.