"AI 무단 수집 끝"…위키백과, AI기업 아마존·메타·MS 유료 데이터 계약

창립 25주년 맞아 '데이터 주권' 선언…인간 검증 지식 제값 받아

위키백과가 창립 25주년을 맞으며 빅테크 기업의 무분별한 데이터 긁어가기 관행에 마침표를 찍었다.

16일 위키미디어재단은 25주년 기념 블로그를 통해 "아마존, 메타, 마이크로소프트, 미스트랄 AI, 퍼플렉시티가 위키미디어 엔터프라이즈 신규 파트너로 합류했다"고 밝혔다.

파트너사는 ▲특정 기사 최신 버전을 즉시 호출하는 '온디맨드 API' ▲매시간 업데이트되는 '스냅샷 API' ▲실시간 변경 사항을 스트리밍하는 '리얼타임 API' 등을 제공받아 웹 스크래핑을 보다 빠르고 안정적으로 데이터를 확보할 수 있게 됐다.

(이미지=위키피디아)

이번 계약은 AI 기업이 더 이상 봇(Bot)을 이용해 위키백과 서버를 무단으로 크롤링하는 방식이 아닌 정당한 비용을 지불하고 API를 통해 데이터를 공급받는다는 점이다. 지난 2022년 첫 파트너가 된 구글에 이어 전 세계 주요 빅테크 기업이 위키백과 데이터 주권을 인정했다는 평가다.

위키미디어 재단 측은 "지난 1년간 해당 기업과 관계를 공식화해왔다"며 "모든 파트너사는 대규모 AI 모델 학습과 서비스 운영을 위해 인간이 검증한 위키백과 지식을 플랫폼에 통합하게 될 것"이라고 설명했다.

생성형 AI 붐 이후 데이터 품질 문제는 기술 기업 최대 화두로 떠올랐다. 부정확한 정보나 편향된 데이터를 학습한 AI가 오류를 범하는 환각 현상을 줄이기 위해 자원봉사자의 집단 지성으로 교차 검증된 위키백과 데이터는 대체 불가능한 자원으로 평가받고 있다.

위키미디어 재단 대변인은 "AI 챗봇, 검색 엔진, 음성 비서 성능은 결국 위키백과가 생산하는 인간 지식에 의존하고 있다"며 "장기적인 미래를 위해서라도 위키백과와 같은 프로젝트를 재정적으로 후원하고 육성하는 일은 필수적"이라고 강조했다.

또 파트너십 발표는 일론 머스크가 이끄는 xAI의 행보와 대비되며 더욱 주목받고 있다. 머스크는 지난해 위키백과를 겨냥해 AI 모델 '그록(Grok)'이 생성하는 그록키피디아를 선보이며, 기존 위키백과가 편향되어 있다고 공격한 바 있다.

하지만 주요 빅테크 기업이 잇따라 위키백과 손을 잡음으로써 AI 시대에도 인간이 직접 작성하고 큐레이션한 지식 신뢰도와 가치가 여전히 유효함을 입증하게 됐다는 업계 반응이다.

위키백과는 이번 파트너십을 통해 확보한 재원을 바탕으로 전 세계 300개 이상 언어로 지식 격차를 해소하고 서버 운영 및 자원봉사자 커뮤니티 지원을 강화할 계획이라고 밝혔다.