<стр>Поиск Google подтверждает, что для блокировки ботов и скраперов, таких как SEO Tools, требуется JavaScript
<стр>Google внес изменения в способ предоставления результатов поиска, что также поможет защитить их от ботов и скраперов. Окажет ли это дальнейшее влияние на SEO Tools или они смогут использовать Chrome без заголовка, использующий JavaScript, на данный момент остается открытым вопросом, но вполне вероятно, что Google использует ограничение скорости, чтобы ограничить количество страниц, которые могут быть запрошены в течение установленного периода времени. .
Для поиска Google сейчас требуется JavaScript
<стр>Google тихо обновил свою строку поиска, чтобы потребовать от всех пользователей, включая ботов, включить JavaScript при поиске. <стр>При использовании поиска Google без включенного JavaScript выводится следующее сообщение:
Включите JavaScript, чтобы продолжить поиск
В используемом вами браузере отключен JavaScript. Чтобы продолжить поиск, включите его.
Скриншот сообщения JavaScript поиска Google
<стр>
<стр>В электронном письме TechCrunch представитель Google поделился следующими подробностями:
“Включение JavaScript позволяет нам лучше защищать наши сервисы и пользователей от ботов и развивающихся форм злоупотреблений и спама, …а также предоставлять наиболее релевантную и актуальная информация. ”
<стр>JavaScript, возможно, обеспечивает персонализацию поиска, что, возможно, и подразумевает представитель, когда говорит о предоставлении наиболее релевантной информации. Но JavaScript также можно использовать для блокировки ботов.
<стр>Используя последнюю версию Chrome, я скопировал часть JavaScript и пропустил его через ChatGPT, чтобы узнать, что он делает. Одна из его частей может быть связана с ограничением оскорбительных запросов на документы.
Скриншот Chrome Dev Tools
<стр>
ChatGPT дал мне следующий отзыв:
“Основные функциональные возможности
Генерация рандомизированного значения (rdb)Генерирует случайное значение на основе свойств (D_d, idc и p4b) входного объекта a, ограниченного p7d.
Это может быть использовано для ограничения скорости, экспоненциального замедления или подобной логики.Цель и контекст
Из его компонентов скрипт:Вероятно, обрабатывает повторные запросы или управляет доступом к веб-ресурсам.
Реализует систему обеспечения соблюдения политик, где:
Политики определяют, являются ли запросы действительными.
Ошибки регистрируются и иногда повторяются на основе правил.
Случайные задержки или ограничения могут управлять механизмом повторных попыток.
<стр>Кажется, оптимизирован для обработки ошибок и обеспечения устойчивости в распределенных или высоконагруженных системах, возможно, в рамках сервиса Google или API.”
<стр>ChatGPT сообщил, что код может использовать ограничение скорости, что является способом ограничить количество действий, которые пользователь или система могут выполнить в течение определенного периода времени.
Ограничение скорости:
Используется для ограничения количества действий (например, запросов API), которые пользователь или система могут выполнить в течение определенного периода времени.
В этом коде случайные значения, сгенерированные rdb, могут использоваться для введения изменчивости в том, когда или как часто разрешаются запросы, помогая эффективно управлять трафиком.
Экспоненциальный откат:
ChatGPT объяснил, что экспоненциальная задержка — это способ ограничить количество повторных попыток для неудачного действия, которое разрешено выполнить пользователю или системе. Период времени между повторными попытками для неудачного действия увеличивается экспоненциально.
Похожая логика:
<стр>ChatGPT объяснил, что генерация случайных значений может использоваться для управления доступом к ресурсам с целью предотвращения злоупотреблений запросами. <стр>Я не знаю наверняка, что именно делает этот конкретный JavaScript, но именно это объяснил ChatGPT, и это определенно совпадает с информацией, которой поделилась Google, о том, что они используют JavaScript как часть своей стратегии по блокировке ботов. . <стр>
