< P > Гэри Иллиес из Google предполагает, что боты, управляемые AI, могут перевернуть веб-сайты, предлагая уникальную перспективу, что ползание не является основной проблемой.
< ul class = "key_takeaways m-bot-40" > < li > Google Предупреждает AI-боты, которые будут затоплять веб-сайты автоматическим трафиком
< li > Ползание не проблема ресурса; Обработка и хранение данных есть.
< li > Подготовьте, обновив хостинг, просмотрев правила robots.txt и оптимизируя базы данных.
< img Width = "1600" Height = "840" src = "https://www.searchenginejournal.com/wp-content/uploads/05/ec258d25-bac-bac-bac-8e4a5ae8faf9-675.jpeg" Class = "Attachment-Full Size-Full Wp-Post image" Alt = "Google & Amp;#8217; 1600W, https://www.searchenginejournal.com/wp-content/2025/058d25a-4bac-bac-8e4a5ae8faf9-675-480x252.jpeg, https://www.searchenginejournal.com/wp-content/2025/058d25-b55a-4bac-bac-8e4a5ae8faf9-680x357.jpeg 680w, https://www.searchenginejournal.com/wp-content/2025/058d25-b55a-4bac-bac-8e4a5ae8faf9-675-384x202.jpeg 384w, https://www.searchenginejournal.com/wp-content/2025/058d25-b55a-4bac-bac-8e8faf9-675-768x403.jpeg 768w, https://www.searchenginejournal.com/wp-content/2025/0258d25-b55a-bac-bac-8e4a5ae8faf9-675-1024x538.jpeg "Размеры =" (максимум: 1600px) 100px "/> < P > Инженер Google предупредил, что агенты ИИ и автоматизированные боты вскоре затопит Интернет трафиком.
< P > Gary Illyes, который работает в Google & rsquo; S Поисковой команды, сказал & Ldquo; Все и моя бабушка запускают гусеницу и amp; rdquo; Во время недавнего подкаста.
< p > Предупреждение поступает от Google & rsquo; Последний поиск в эпизоде подкаста Record.
< H2 > Агенты AI будут напрягать веб -сайт
< p >Во время своего разговора с членом команды по поисковым отношениям Мартином Сплиттом Иллиес предупредил, что агенты ИИ и & Ldquo; AI Shenanigans & rdquo; хочет быть значимыми источниками нового веб -трафика.
< P > Illyes сказал:
< Цитата блока >~ 60 > & ldquo; Интернет становится застрахованным & Хеллип; Это & rsquo; S не что -то вроде того, что Интернет не может справиться с & Хеллип; Интернет предназначен для того, чтобы иметь возможность обрабатывать весь этот трафик, даже если он & rsquo; S автоматический. & rdquo;
< P > Этот всплеск возникает, когда предприятия развертывают инструменты ИИ для создания контента, исследования конкурентов, анализ рынка и сбора данных. Каждый инструмент требует, чтобы ползание веб -сайтов для функционирования, и с быстрым ростом принятия искусственного интеллекта этот трафик, как ожидается, увеличится.
< H2 > Как Google & rsquo; S Crawler System работает
< P > Подкаст предоставляет подробное обсуждение Google & rsquo; S Crawling Setup. Вместо того, чтобы использовать разные сканеры для каждого продукта, Google разработал одну единую систему.
< P > Google Search, Adsense, Gmail и другие продукты используют ту же инфраструктуру Crawler. Каждый из них идентифицирует себя с различным именем агента, но все придерживаются одних и тех же протоколов для robots.txt и Health Server.
< p > illyes объяснил:
< blockquote > ~ p > & Ldquo; Вы можете получить из Интернета, но вы должны определить свою собственную строку агента. & Amp;
< P > Этот унифицированный подход гарантирует, что все сканеры Google придерживаются одних и тех же протоколов и масштабируются, когда веб -сайты сталкиваются с различиями.
< h2 > Реальная gog ? it & rsquo; S не ползает
< p > Иллиес, прочтенная традиционная мудрость SEO с потенциальным противоречивым утверждением: ползание. Т потребляйте значительные ресурсы.
< P > Illyes заявил:
< blockquote > ~ p > & ldquo; это & amp; S не ползает, который питается ресурсами, это & amp; S ИНДАКСИЯ И ПОЛНОСТЬЯ СЛУЖАЯ ИЛИ ЧТО ВЫ ДЕЛАЕТЕ С ДАННЫМИ. & rdquo;
< p > он даже шутил, что он будет & ldquo; закричать в Интернете & rdquo; За то, чтобы сказать это.
< p >Эта перспектива предполагает, что извлечение страниц использует минимальные ресурсы по сравнению с обработкой и хранением данных. Для тех, кто обеспокоен бюджетом, это может изменить приоритеты оптимизации.
< H2 > от тысяч до триллионов: веб -сайт & rsquo; S Рост < P > Гуглеры предоставили исторический контекст. В 1994 году поисковая система World Wide Web Worm индексировала только 110 000 страниц, где WebCrawler удалось указать 2 миллиона. Сегодня отдельные веб -сайты могут избавиться от миллионов страниц.
< p > Этот быстрый рост требовал технологической эволюции. Crawlers прогрессировали от базовых протоколов HTTP 1.1 до современного HTTP/2 для более быстрых соединений, причем HTTP/3 поддерживает на горизонте.
< H2 > Google & rsquo; S Battle Battle < P > Google потратил в прошлом году, пытаясь уменьшить его ползание, признавая бремя у владельцев сайта. Тем не менее, новые проблемы продолжают возникать.
< P > Illyes объяснила дилемму:
< Цитата блока >< P >& ldquo; Вы сохранили семь байтов от каждого запроса, который вы делаете, а затем этот новый продукт добавит Back Baking & rdquo;
~ 60 > < P > Каждый прирост эффективности компенсируется новыми продуктами ИИ, требующими большего количества данных. Это цикл, который не показывает никаких признаков остановки.
< H2 > Что должны делать владельцы веб -сайтов
< p > Предстоящий переросток требует действия в нескольких областях:
< ul > < li > > Инфраструктура : текущее хостинг не может поддерживать ожидаемую нагрузку. Оцените емкость сервера, варианты CDN и время отклика до появления притока.
< li > ~ Strong > Контроль доступа : Просмотрите правила Robots.txt для управления. Блокировать ненужные боты, позволяя законным функционировать должным образом.
< li >~ 60 > Производительность базы данных : Illyes специально указал & Ldquo; Дорогие вызовы базы данных & rdquo; как проблематично. Оптимизируйте запросы и реализуйте кэширование для облегчения напряжения сервера.
< li > > Мониторинг : Дифференциация между законными сканерами, агентами ИИ и злонамеренными ботами посредством тщательного анализа журналов и отслеживания производительности. ~/Li >
< H2 ~ путь вперед
< P > Illyes указал на общего ползания как на потенциальную модель, которая ползает один раз и делит данные публично, уменьшая избыточный трафик. Подобные совместные решения могут возникнуть в качестве адаптации веб -сайтов.
< p >, в то время как Иллис выразил уверенность в Интернете; rsquo; Способность управлять увеличенным трафиком, сообщение ясное: агенты ИИ прибывают в огромном количестве.
< P > Веб -сайты, которые укрепляют их инфраструктуру, теперь будут лучше оснащены для выдержки шторма. Те, кто ждет, могут найти температуры перевернутыми, когда полная сила волны попадает.
< p > Слушайте полный эпизод подкаста ниже:
< P > ~ iframe title = “Google & amp;#8217; S Gary Illyes Warns Ag Agents создаст веб-конусы” width = “760” height = “428” src = “https://www.youtube.com/embed/igguggonz1e~633333 “Accelerometer; Autoplay; буферный обмен написания; зашифрованная среда; гироскоп; картинка-в-утепление; веб-чар” Referrerpolicy = “строго-ооригин-кросс-аоригин” AllifullLScreen загрузка = “Lazy” >/p >
