AI가 받는 모든 ‘정상’ 웹 응답의 20%는 정상적이지 않다

AI 요약

AI 웹 스크래핑의 급증으로 웹사이트들이 로그인 요구, CAPTCHA, 차단 등으로 접근을 제한하면서 웹이 더 폐쇄적으로 변하고 있고, Facebook과 Twitter/X는 2023년에 단계적으로 로그인 정책을 도입했으며 Reddit도 이달 말 도입할 예정이고 Cloudflare는 봇 차단 조치가 전년 대비 58% 넘게 증가했다고 밝혔습니다. 새 논문은 HTTP 200 응답의 약 20.9%가 주요 콘텐츠를 전혀 포함하지 않는 빈 골격·CAPTCHA·대체 페이지 등이라고 추산했으며, 연구진은 기본 웹 가져오기 프로그램과 브라우저를 포함해 3일 동안 웹 주소 10,307개를 테스트해 이 결론을 도출했습니다. 논문은 HTTP 상태 코드에만 의존하지 말고 실제로 무엇을 가져왔는지 보고하며 페이지 길이·리디렉션 등 간단한 점검으로 대부분의 실패를 찾아낸 뒤, 제대로 로드되지 않은 경우에만 리소스 소모가 큰 브라우저 도구를 사용할 것을 권고했습니다.