🚀 🛡 Cloudflare блокирует ИИ-краулеры
С 15 сентября провайдер по умолчанию начнёт блокировать на всех сайтах смешанные веб-краулеры на базе ИИ. Речь о ботах, которые одним типом собирают данные и для поиска, и для обучения моделей, и для ИИ-агентов. Cloudflare требует разделять эти задачи: поисковые, обучающие и агентные — отдельно.
Почему это важно? Издатели хотят оставаться в поиске и ИИ-сервисах, но не готовы раздавать контент бесплатно. Теперь владельцам сайтов не придётся вручную настраивать защиту — Cloudflare сделает это за них. Рынок контента дорожает, и компании всё чаще требуют платить за доступ к данным.
Это не первое ужесточение — ранее провайдер начал отслеживать замедление своих сервисов. Теперь очередь за ботами.