클라우드플레어, 'AI 크롤러' 차단 확대…"콘텐츠 대가 정당해야"

AI 요약

클라우드플레어는 검색용 크롤러와 AI 학습·에이전트용 크롤러를 분리해 출판사와 웹사이트 운영자의 콘텐츠 통제권을 강화하고, 9월 15일부터 광고를 게재하는 페이지에서 '혼합 용도' 크롤러를 기본 차단한다고 발표했습니다. 적용 대상은 기존 무료 고객을 비롯한 신규 고객과 기존 고객이 새로 설정하는 사이트이며, 클라우드플레어는 '페이 퍼 크롤'을 '페이 퍼 유스'로 확대해 콘텐츠가 실제 가치를 창출할 때도 출판사가 대가를 받을 수 있도록 하고 세라믹.ai와 유닷컴을 파트너로 선정해 이를 우선 적용한다고 밝혔습니다. 클라우드플레어 데이터에 따르면 AI 크롤러 트래픽의 50% 이상은 변경되지 않은 페이지를 반복해서 가져오는 데 사용되고 있어 출판사 대역폭과 컴퓨팅 자원 부담을 줄이는 효과도 기대됩니다.