- Cloudflare теперь позволяет каждому клиенту, включая бесплатные учетные записи, сортировать ИИ-сканеры по поиску, агенту и обучению и управлять каждым из них отдельно.
- Начиная с 15 сентября, согласно самому строгому изменению правил Cloudflare, сайты, блокирующие обучение, также будут блокировать комбинированные сканеры, такие как Googlebot, Applebot и Bingbot.
- Владельцы сайтов могут просмотреть или изменить эти настройки на своей панели управления Cloudflare до наступления крайнего срока.
Cloudflare теперь позволяет всем сайтам управлять поисковыми роботами с искусственным интеллектом в качестве поисковых, агентских или обучающих, с настройками по умолчанию от 15 сентября, которые могут блокировать Googlebot для сайтов, блокирующих обучение.
<п>Cloudflare обновляет свой метод идентификации и блокировки сканеров ИИ, что может привести к блокировке Googlebot на сайтах, препятствующих обучению ИИ. Компания объявила об обновлении в рамках своего второго Дня независимости контента.
Новые элементы управления позволяют веб-сайтам управлять автоматизированным трафиком на основе трех вариантов поведения, а не одного “блока AI-ботов” выключатель. Теперь они доступны для всех клиентов, включая бесплатный уровень. Отдельный набор изменений по умолчанию вступит в силу 15 сентября.
Три способа сортировки ИИ-сканеров
Cloudflare теперь сортирует сканеров по тому, что они делают на сайте, а не по тому, считаются ли они «ИИ». Компания разделяет варианты использования ИИ на три категории:
. <ул>
- Search индексирует сайт, чтобы позже ответить на вопросы, а Cloudflare связывает это поведение с реферальным трафиком.
- Обучение, сканирование, извлекающее контент для обучения или точной настройки модели.
<ли>Агент, боты, работающие в режиме реального времени, действующие от имени человека, например ChatGPT-User, или агенты браузера, такие как Gemini или Claude, работающие в Chrome.
Cloudflare говорит, что операторы ботов должны запускать отдельные сканеры для каждого поведения, чтобы веб-сайты могли видеть, почему бот посещает, и решать, разрешать или блокировать его.
Что изменится 15 сентября
<п>Два изменения по умолчанию вступят в силу 15 сентября. Для новых клиентов и новых сайтов для существующих клиентов сканеры «Обучение» и «Агент» будут по умолчанию заблокированы на страницах, на которых отображается реклама, а поиск останется разрешенным. В пресс-релизе Cloudflare также говорится, что существующие бесплатные клиенты, которые не изменили свои настройки до 15 сентября, будут переведены на эти настройки по умолчанию.
<п>Второе изменение идет еще дальше. Cloudflare начнет обрабатывать многофункциональные сканеры на основе их общего поведения, применяя самые строгие правила. Например, сканер, выполняющий и поиск, и обучение, будет заблокирован, если сайт блокирует обучение. Cloudflare использует Googlebot, Applebot и Bingbot в качестве примеров, поскольку каждый из них сканирует как поиск, так и обучение ИИ. Если на сайте уже включена старая версия “Блокировать ботов AI” настройки, на него будет распространяться это новое правило.
Если вы хотите сохранить эти сканеры, вы можете просмотреть или изменить эти настройки на панели управления Cloudflare в любое время до 15 сентября. Cloudflare заявляет, что продолжит уведомлять клиентов заранее.
Новые сигналы о том, как боты используют контент
Cloudflare также тестирует сигнал использования контента, который расширяет сигналы контента в robots.txt. Он имеет три значения, от наиболее ограничительных до наименее ограничительных: немедленный, ничего не хранящий; ссылка, которая индексирует и ссылается назад и является новым значением по умолчанию; и полный, который обобщает и воспроизводит. Cloudflare утверждает, что они указывают предпочтения и не блокируются сами по себе.
Компания пересмотрела определение “Verified” для ботов. Теперь проверенный бот не везде автоматически разрешен; вместо этого его доступ зависит от его категории. Кроме того, боты, которые полностью копируют контент, не подлежат проверке. Cloudflare представила каталог BotBase с возможностью поиска для пользователей Enterprise Bot Management, в котором отображается классификация каждого отслеживаемого бота и копируемый идентификатор обнаружения для правил безопасности.
Отчёт об изменениях
<п>Обновление появилось вместе с отчетом Cloudflare, посвященным годовщине первого Дня независимости контента. Согласно отчету, на обучение ИИ в настоящее время приходится большая часть запросов сканеров в сети, что превышает примерно 20% весной 2025 года. В нем также отмечается, что ежедневные запросы агентов ИИ увеличились более чем на 1700% за год. Эта статистика основана на сетевом трафике Cloudflare и не отражает всю сеть.
Почему это важно
<п>Правило от 15 сентября связывает блоки обучения ИИ с поисковым сканированием в сети Cloudflare. Если сайт блокирует обучение, чтобы защитить свой контент от моделей искусственного интеллекта, он также может непреднамеренно заблокировать Googlebot, поскольку блокировка Cloudflare работает на уровне сети, что затрудняет обход, чем простую строку robots.txt, которую Google может игнорировать, поскольку блокировка Cloudflare работает на сетевом уровне, поскольку файл robots.txt представляет собой рекомендательную инструкцию для сканеров. Потеря доступа робота Googlebot означает, что сайт не будет эффективно сканироваться, что в конечном итоге может повлиять на его видимость в результатах поиска.
В течение прошлого года я отслеживал, как издатели переходят на настройки запрета по умолчанию и блокируют поисковых и обучающих ботов. Экспозиция каждый раз одинакова. Блокировка уровня обучения может также заблокировать уровень поиска, который обеспечивает возможность поиска сайта.
<ч3>Взгляд в будущее
Веб-сайты, использующие Cloudflare, должны пересмотреть свои настройки блокировки ИИ до 15 сентября и решить, следует ли сохранять поисковые сканеры включенными. Правило комбинированного сканирования в основном касается тех, кто включил функцию «Блокировать ботов AI». ранее и с тех пор не меняли свои настройки. Бесплатные пользователи, которые не изменят свои настройки, обновят их до новых значений по умолчанию в этот день.
Cloudflare хочет, чтобы операторы сканеров смешанного назначения разделяли этих ботов по поведению в течение следующего года. От того, будут ли крупные операторы различать ботов по поведению, будет зависеть, станет ли это реальным выбором, а не компромиссом между блокировкой обучения ИИ и обеспечением видимости в поиске.
