레딧, AI봇과 싸운다...공개 데이터 접근 차단

미국 온라인 커뮤니티 레딧이 AI봇 웹크롤러가 공개 데이터에 접근하는 것을 차단한다.  

24일(현지시간) 더버지, 테크크런치 등 외신에 따르면 레딧은 AI봇이 공개 데이터에 접근 하는 것을 차단하기로 했다. 

앞으로 모델 학습 및 기타 상업적 목적으로 레딧의 콘텐츠를 사용하려면 구글과 오픈AI 사례처럼 라이선스 계약을 체결해야 한다.

레딧은 웹 크롤러의 사이트 액세스 허용 방법을 결정하는 웹의 핵심 부분인 '로봇.txt(robots.txt)' 파일을 업데이트하면서 AI봇이 플랫폼에 접근하는 것을 차단키로 했다. 

레딧은 AI봇이 레딧의 퍼블릭 콘텐츠 정책을 준수하지 않고, 플랫폼과 합의하지 않으면 요금 제한이나 차단이 될 것이라고 밝혔다.

레딧 일러스트 (사진=더버지)

벤 리 레딧 최고 법률 책임자는 "당사와 계약을 맺지 않은 사람들은 레딧 데이터에 액세스해서는 안 된다는 신호"라며 "또한 로봇.txt의 '허용'이라는 단어가 데이터를 원하는 대로 사용할 수 있다는 뜻이 아니다"고 말했다.

로봇.txt 파일은 검색 엔진이 사이트를 스케이프한 다음 사람들을 컨텐츠로 안내하는 데 사용됐다. 그러나 AI의 부상으로 웹사이트는 콘텐츠의 실제 출처를 인식하지 못한 채 스크랩되고 모델을 훈련하는 데 사용되고 있다.

앞서 레딧은 몇 주 전에 레딧의 데이터가 상용 기업 및 기타 파트너에 의해 액세스되고 사용되는 방법을 안내하기 위해 고안된 새로운 정책을 발표했다.