Гэри Иллис из Google рекомендует использовать robots.txt, чтобы заблокировать сканерам URL-адреса «добавление в корзину», предотвращая нерациональную трату ресурсов сервера.

• Используйте файл robots.txt, чтобы заблокировать сканерам доступ к «URL-адресам действий».
• Это предотвращает потерю ресурсов сервера из-за бесполезных обращений сканера.
• Это старая практика, которая остается актуальной и сегодня.

В сообщении на LinkedIn Гэри Иллис, аналитик Google, повторил давние рекомендации для владельцев веб-сайтов: используйте файл robots.txt, чтобы запретить веб-сканерам доступ к URL-адресам, которые запускают такие действия, как добавление товаров в корзину. или списки желаний.

<п>Иллиес отметил распространенную жалобу на ненужную перегрузку серверов трафиком сканеров, часто возникающую из-за того, что боты поисковых систем сканируют URL-адреса, предназначенные для действий пользователя.

<стр>Он написал:

“Глядя на то, что мы сканируем с сайтов в жалобах, слишком часто это URL-адреса действий, такие как ‘ добавить в корзину’ и «добавить в список желаний».’ Они бесполезны для сканеров, и вы, вероятно, не хотите, чтобы они сканировались.

Чтобы избежать бесполезной нагрузки на сервер, Иллиес посоветовал заблокировать доступ в файле robots.txt для URL-адресов с такими параметрами, как “?add_to_cart” или “?add_to_wishlist.”

В качестве примера он предлагает:

“Если у вас есть URL-адреса типа:
https://example.com/product/scented-candle-v1?add_to_cart
и<бр> https://example.com/product/scented-candle-v1?add_to_wishlist

Возможно, вам следует добавить для них правило запрета в файл robots.txt.”

Хотя использование метода HTTP POST также может предотвратить сканирование таких URL-адресов, Иллес отметил, что сканеры все равно могут отправлять запросы POST, поэтому файл robots.txt остается желательным.

Укрепление лучших практик десятилетней давности

Алан Перкинс, участвовавший в этой теме, отметил, что это руководство перекликается с веб-стандартами, введенными в 1990-е годы по тем же причинам.

<стр>Цитата из документа 1993 года под названием «Стандарт исключения роботов»:

“В 1993 и 1994 годах были случаи, когда роботы посещали серверы WWW, где их не приветствовали по разным причинам…роботы пересекали части Неподходящие WWW-серверы, например очень глубокие виртуальные деревья, дублированная информация, временная информация или cgi-скрипты с побочными эффектами (например, голосованием).”

<п>Стандарт robots.txt, предлагающий правила, ограничивающие доступ роботов-сканеров с хорошим поведением, возник в результате “консенсуса” решение среди заинтересованных сторон в Интернете еще в 1994 году.

Послушание &amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp; Исключения

Иллиес подтвердил, что сканеры Google полностью подчиняются правилам robots.txt, за редкими исключениями, тщательно документированными для сценариев, включающих “инициируемую пользователем или договорную выборку”

Соблюдение протокола robots.txt было основой политики Google в отношении сканирования веб-страниц.

Почему SEJ заботится

<стр>Хотя этот совет может показаться элементарным, возрождение этого проверенного десятилетиями передового опыта подчеркивает его актуальность.

Используя стандарт robots.txt, сайты могут помочь укротить чрезмерно усердных сканеров, которые не перегружают полосу пропускания непродуктивными запросами.

Как это может вам помочь

<п>Независимо от того, ведете ли вы небольшой блог или крупную платформу электронной коммерции, следование совету Google по использованию файла robots.txt для блокировки доступа сканера к URL-адресам действий может помочь несколькими способами:

<ул>

• Уменьшенная нагрузка на сервер: вы можете уменьшить количество ненужных запросов к серверу и использование полосы пропускания, запретив сканерам обращаться к URL-адресам, которые вызывают такие действия, как добавление товаров в корзину или списки желаний.
• Повышение эффективности сканирования: указание в файле robots.txt более четких правил относительно того, какие URL-адреса следует избегать сканерам, может привести к более эффективному сканированию страницы/контент, которые вы хотите проиндексировать и ранжировать.
• Улучшение пользовательского опыта: поскольку ресурсы сервера сосредоточены на реальных действиях пользователя, а не на бесполезных посещениях сканера, конечные пользователи, скорее всего, будут испытывать более быстрое время загрузки и более плавная функциональность.
• Соблюдайте стандарты: внедрение рекомендаций приведет ваш сайт в соответствие с широко распространенными стандартами протокола robots.txt, которые являются лучшими в отрасли. практики на протяжении десятилетий.

Пересмотр директив robots.txt может быть простым, но эффективным шагом для веб-сайтов, стремящихся лучше контролировать активность сканеров.

Иллиес’ обмен сообщениями указывает на то, что древние правила robots.txt остаются актуальными в нашей современной веб-среде.