Обзор Cloudflare за год показывает, что Googlebot просканировал в 200 раз больше страниц, чем PerplexityBot. Глобальный интернет-трафик вырос на 19%.

• Googlebot просканировал более чем в 200 раз больше, чем PerplexityBot.
• Гражданское общество и некоммерческие организации впервые стали наиболее пострадавшим сектором.
• Глобальный интернет-трафик вырос на 19% по сравнению с прошлым годом, причем после середины августа рост ускорился.

<п>Cloudflare опубликовала шестой ежегодный обзор года, в котором представлен всесторонний анализ интернет-трафика, безопасности и активности роботов с искусственным интеллектом в 2025 году.

В отчете использованы данные из сети Cloudflare, которая охватывает более 330 городов в 125 странах и обрабатывает в среднем более 81 миллиона HTTP-запросов в секунду.

Выводы ИИ-сканера выдающиеся. Робот Google просканировал гораздо больше веб-страниц, чем любой другой бот с искусственным интеллектом, что отражает двойной подход Google к сканированию как для поискового индексирования, так и для обучения искусственного интеллекта.

<ч2>Лучший трафик робота Googlebot с помощью искусственного интеллекта

Cloudflare проанализировала успешные запросы HTML-контента от ведущих сканеров искусственного интеллекта в октябре и ноябре 2025 года. Результаты показали, что робот Google охватил 11,6% уникальных веб-страниц в выборке.

<п>Это более чем в 3 раза превышает количество страниц, просмотренных OpenAI GPTBot (3,6%). Это почти в 200 раз больше, чем у PerplexityBot, который просканировал всего 0,06% страниц.

Bingbot занял третье место с 2,6%, за ним следуют Meta-ExternalAgent и ClaudeBot с 2,4% каждый.

В отчете отмечается, что, поскольку робот Googlebot сканирует как поисковую индексацию, так и обучение модели искусственного интеллекта, веб-издатели сталкиваются с трудным выбором. Блокирование обучения робота Googlebot означает риск обнаружения при поиске.

Cloudflare написал:

<блоковая цитата><п>“Поскольку робот Googlebot используется для сканирования контента как для индексации поиска, так и для обучения модели искусственного интеллекта, а также из-за давнего доминирования Google в поиске, операторы веб-сайтов по сути не могут блокировать обучение робота Googlebot искусственному интеллекту, не рискуя обнаружить его при поиске.”

Боты AI теперь отвечают за 4,2% HTML-запросов

В течение 2025 года боты с искусственным интеллектом (исключая Googlebot) составляли в среднем 4,2% HTML-запросов в клиентской базе Cloudflare. Доля колебалась от 2,4% в начале апреля до 6,4% в конце июня.

На один только робот Google приходилось 4,5% HTML-запросов, что немного больше, чем на всех остальных AI-ботов вместе взятых.

Доля HTML-трафика, созданного человеком, началась в 2025 году на семь процентных пунктов ниже трафика, не связанного с искусственным интеллектом. К сентябрю человеческий трафик в некоторые дни начал превышать трафик, не связанный с искусственным интеллектом. По состоянию на 2 декабря люди генерировали 47% HTML-запросов, а боты без ИИ — 44%.

Коэффициент сканирования до ссылки сильно варьируется

Cloudflare отслеживает, как часто ИИ и поисковые платформы отправляют трафик на сайты относительно частоты их сканирования. Высокий коэффициент означает интенсивное сканирование без отправки пользователей обратно на исходные сайты.

Anthropic имел самые высокие соотношения среди платформ искусственного интеллекта: примерно от 25 000:1 до 100 000:1 во второй половине года после стабилизации после предыдущей волатильности.

Коэффициенты OpenAI в марте достигли 3700:1. Начиная с сентября, Perplexity сохраняла самые низкие соотношения среди ведущих платформ искусственного интеллекта, как правило, ниже 400:1 и ниже 200:1.

Для сравнения, соотношение количества посетителей и ссылок в поисковых системах Google в течение года оставалось намного ниже, обычно между 3:1 и 30:1 в течение года.

Количество действий пользователя при сканировании выросло более чем в 20 раз

<п>Не все сканирование ИИ предназначено для обучения моделей. “Действие пользователя” сканирование происходит, когда боты посещают сайты в ответ на вопросы пользователей, заданные чат-ботам.

В этой категории наблюдался самый быстрый рост в 2025 году. Объем сканирования действий пользователей увеличился более чем в 15 раз с января по начало декабря. Эта тенденция точно соответствует структуре трафика бота ChatGPT-User OpenAI, который посещает страницы, когда пользователи задают вопросы ChatGPT.

Рост показал еженедельный характер использования, начиная с середины февраля, что предполагает увеличение использования в школах и на рабочих местах. Активность падала с июня по август, когда у студентов были каникулы, а специалисты уходили в отпуск.

Сканеры с искусственным интеллектом чаще всего блокируются в файле robots.txt

Cloudflare проанализировал файлы robots.txt почти в 3900 из 10 000 крупнейших доменов. ИИ-сканеры были наиболее часто блокируемыми пользовательскими агентами.

<п>У GPTBot, ClaudeBot и CCBot было наибольшее количество директив полного запрета. Эти директивы предписывают сканерам держаться подальше от целых сайтов.

Googlebot и Bingbot показали разную картину. Их директивы запрета в значительной степени склонялись к частичной блокировке, вероятно, ориентированной на конечные точки входа и области, не содержащие контент, а не на полную блокировку сайта.

Гражданское общество стало наиболее пострадавшим сектором

<п>Впервые организации в рамках программы «Люди и общество» вертикальные компании были наиболее объектом атак. В эту категорию входят религиозные учреждения, некоммерческие организации, гражданские организации и библиотеки.

На долю сектора пришлось 4,4% глобального трафика, смягченного по смягчению последствий, по сравнению с менее чем 2% в начале года. Доля атак подскочила до более чем 17% в конце марта и достигла пика в 23,2% в начале июля.

<стр>Многие из этих организаций защищены проектом Галилео компании Cloudflare.

Азартные игры и игры, наиболее пострадавшая вертикаль в 2024 году, сократили свою долю более чем вдвое до 2,6%.

Другие ключевые выводы

Отчет Cloudflare включает несколько дополнительных выводов по трафику, безопасности и подключению.

Глобальный интернет-трафик вырос на 19% по сравнению с прошлым годом. Рост оставался относительно стабильным до середины апреля, а затем ускорился после середины августа.

Постквантовое шифрование теперь защищает 52% человеческого трафика в Cloudflare, что почти вдвое превышает долю в 29% в начале года.

ChatGPT оставался ведущим сервисом генеративного ИИ в мире. Google Gemini, Windsurf AI, Grok/xAI и DeepSeek впервые вошли в десятку лучших.

Трафик Starlink удвоился в 2025 году, при этом услуга будет запущена более чем в 20 новых странах.

Почти половина из 174 крупных сбоев в работе Интернета, наблюдаемых во всем мире, были вызваны отключениями по указанию правительства. Количество отключений кабеля сократилось почти на 50%, а количество отключений электроэнергии увеличилось вдвое.

<п>Европейские страны доминируют в показателях качества Интернета. Испания возглавила список по общему качеству Интернета со средней скоростью загрузки выше 300 Мбит/с.

Почему это важно

Данные ИИ-сканера должны повлиять на то, как вы думаете о доступе к ботам и трафике.

Сканер Google двойного назначения создает конкурентное преимущество. Вы можете заблокировать других сканеров с искусственным интеллектом, сохраняя при этом доступ Googlebot для видимости поиска, но вы не можете отделить сканирование поисковых запросов Google от сканирования, обучающего ИИ.

Коэффициенты сканирования и перехода помогают количественно определить, что уже подозревали издатели. Платформы искусственного интеллекта активно сканируют сайты, но отправляют обратно мало трафика. Разрыв между сканированием и переходом сильно различается в зависимости от платформы.

<стр>Гражданское общество атакует вопросы данных, если вы работаете с некоммерческими или правозащитными организациями. Эти группы сейчас подвергаются наибольшему количеству атак.

<ч2>Взгляд в будущее

Cloudflare ожидает, что показатели ИИ будут меняться по мере дальнейшего развития отрасли. Компания добавила в отчет этого года несколько новых наборов данных, связанных с искусственным интеллектом, которые не были доступны в предыдущих выпусках.

Коэффициент сканирования и перехода может меняться по мере того, как платформы искусственного интеллекта корректируют свои функции поиска и поведение рефералов. Коэффициенты OpenAI уже показали некоторое снижение в течение года по мере роста использования поиска ChatGPT.

Что касается управления файлом robots.txt, данные показывают, что большинство издателей выбирают частичную блокировку для основных поисковых роботов и полную блокировку роботов, использующих только искусственный интеллект. Состояние этих директив на конец года обеспечивает основу для отслеживания того, как будет развиваться политика издателей в 2026 году.