300%-ный рост трафика автоматических ботов наносит ущерб серверам, но при этом не приносит новых доходов. Как должны реагировать владельцы сайтов.
<п>Боты с искусственным интеллектом все больше влияют на производительность веб-сайтов, аналитику, затраты на инфраструктуру и видимость контента. Новые исследования и данные об инфраструктуре показывают, что проблема больше не в простом парсинге, а в управлении взаимодействием автоматизированного трафика с веб-сайтами и зависящими от них предприятиями.
Скрапинг — наименьшая из проблем
Многие дискуссии среди оптимизаторов и владельцев сайтов сосредоточены на парсинге с помощью ИИ-ботов. То, что системы ИИ собирают контент для обучения LLM с практически нулевой атрибуцией, когда контент повторно смешивается с ответом ИИ, вызывает обоснованную обеспокоенность.
<ул>
Но инфраструктурные команды все чаще сталкиваются с другими и одинаково важными проблемами.
Банальность ботов, которые теряются и что-то царапают
Проблема все чаще заключается в том, что многие боты создают ненужную нагрузку, потребляют ресурсы и иногда попадают в неэффективные циклы.
Согласно отчету, одна из повторяющихся закономерностей заключалась в том, что сканер мета-внешнего агента Meta отслеживал вариации URL-адресов в течение нескольких дней подряд, прежде чем системы смягчения последствий прижились.
<п>Такое поведение не является злонамеренным. Это автоматизированная работа с плохой практикой кодирования или недостаточными ограждениями.
Дэвид Белсон из Cloudflare проиллюстрировал банальность потерянных ботов, истощающих ресурсы:
<блоковая цитата>
“Есть человек, который понятия не имел, какого черта они делали вчера, но сегодня Vibe закодировал бота и выпустил его на свободу. Они даже не удосужились проверить robots.txt.”
<п>Это наблюдение отражает важную реальность. Сегодняшние проблемы с инфраструктурой возникают из-за плохо спроектированной автоматизации, работающей в больших масштабах.
Боты потребляют ресурсы, не создавая ценности
Следствием такого поведения является то, что веб-сайты тратят ресурсы на обслуживание автоматизированного трафика, который взамен может принести небольшую ценность для бизнеса или вообще не принести ее вообще.
Это большая проблема для сайтов электронной коммерции. В отличие от запросов статических страниц, запросы, связанные с корзиной, обычно обходят кэширование и требуют от сервера использования ресурсов. В зависимости от архитектуры сайта эти запросы могут запускать выполнение PHP, запросы к базе данных, обработку сеансов и другие ресурсоемкие процессы.
С этой точки зрения парсинг — наименьшая из проблем веб-сайта. Сканер, который постоянно запускает дорогостоящую логику приложения и потребляет ресурсы сервера, снижает производительность законных посетителей.
Не следует игнорировать экономический эффект. Согласно отчету, примерно 80% активности сканирования ИИ связано с обучением моделей, затмевающим поиск или сканирование по инициативе пользователей.
Для многих предприятий возникает вопрос: есть ли ценность, возвращаемая этим трафиком, чтобы оправдать потребляемые ресурсы?
Бизнес находится в ловушке между видимостью и затратами
<п>Если бы решением была просто блокировка ботов, проблема была бы решена. К сожалению, многие автоматизированные системы, потребляющие ресурсы, также связаны с возможностью обнаружения и видимости.
Некоторые боты помогают поисковым системам находить контент. Некоторые из них могут способствовать цитированию ИИ и повышению видимости ответов, генерируемых ИИ. Другие могут просто потреблять контент и ресурсы, не принося прямо измеримых выгод для бизнеса.
<п>Компании просят взять на себя расходы на автоматизированный трафик, одновременно оценивая, обеспечивает ли этот трафик достаточную видимость, чтобы оправдать эти затраты.
Теперь вопрос: за каких ботов стоит платить?
В отчете утверждается, что владельцам сайтов следует задать этот вопрос:
<п>Какие боты, на каких частях моего сайта, при каких условиях?
Управление ботами влияет на видимость, затраты на инфраструктуру и производительность сайта. Цель – привести автоматизированный трафик в соответствие с бизнес-целями.
Количество трафика уже может быть затронуто
Автоматизированный трафик также влияет на аналитику сайта. Согласно отчету, за последний год трафик ИИ-ботов увеличился на 300%. К концу 2025 года примерно одно из каждых 31 посещений сети TollBit совершалось с помощью ИИ-бота.
<п>По мере роста автоматизированного трафика сам по себе объем трафика становится менее надежным индикатором роста аудитории.
Сайт может демонстрировать рост количества посещений, но при этом не наблюдать соответствующего увеличения числа клиентов, подписчиков, конверсий или доходов. В некоторых случаях дополнительный трафик может быть автоматизирован.
<стр>В отчете утверждается, что наиболее значимые сигналы исходят от показателей, связанных с фактическими результатами бизнеса, включая спрос на фирменный поиск, прямой трафик, качество взаимодействия и доход. <п>Поскольку на автоматизированные системы приходится большая доля общего трафика, необработанное количество посещений становится менее полезным как самостоятельный показатель успеха.
Решения и тактика смягчения последствий
<стр>В отчете пропагандируется продуманный подход к управлению ботами.
Первый шаг — видимость.
Прежде чем вносить изменения, владельцы сайтов должны понять, что на самом деле делает автоматизированный трафик. Целью является не идентификация каждого отдельного бота, а выявление шаблонов, таких как повторяющиеся запросы, циклы и действия, ориентированные на динамические конечные точки.
Второй шаг — защита дорогостоящих функций сайта.
<п>URL-адреса корзины, пути оформления заказа, страницы внутреннего поиска, страницы с фильтрованными продуктами и URL-адреса с большим количеством параметров часто потребляют значительно больше ресурсов, чем страницы со стандартным контентом. Ограничение ненужного доступа сканеров к этим областям может сократить количество отходов, не затрагивая важный контент.
В отчете также рекомендуется отделять поисковые роботы от роботов с искусственным интеллектом.
Не каждый бот обеспечивает одинаковую ценность. Поисковые сканеры непосредственно способствуют обнаружению и заслуживают более широкого доступа, чем обучающие сканеры ИИ или неизвестные парсеры.
Единая политика, применяемая к каждой автоматизированной системе, больше не может быть оправдана, поскольку экосистема становится более сложной. Вот почему в докладе пропагандируются целенаправленные изменения, а не широкие ограничения.
Целью не является устранение автоматизированного трафика. Цель состоит в том, чтобы управлять им таким образом, чтобы поддерживать бизнес-цели и одновременно сокращать ненужные затраты. Один из способов — решить, какие боты могут получить доступ к определенным частям сайта и при каких обстоятельствах.
Выводы
Бот-трафик больше не является проблемой парсинга. Данные показывают, что это стало проблемой инфраструктуры, прозрачности, аналитики и управления бизнесом.
Самая большая проблема заключается в том, что многие боты потребляют ресурсы, запускают дорогостоящие функции, увеличивают показатели трафика и создают затраты, которые должны нести владельцы сайтов.
Управление ботами не сводится к блокировке большинства ботов. Речь идет об управлении ботами в соответствии с тем, для чего оптимизируется сайт, путем различения ценного и бесполезного автоматизированного трафика.
<стр>Читать отчет Kinsta, подкрепленный данными:
ИИ &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp; проверка реальности трафика бота
Рекомендуемое изображение Shutterstock/DC Studio
