<стр>Google существенно изменил документацию сканера, что привело к более высокому уровню плотности информации и более узкому тематическому охвату
<п>Google запустил масштабное обновление документации своего сканера, сократив главную страницу обзора и разделив контент на три новые, более целенаправленные страницы. nbsp; Хотя в журнале изменений изменения преуменьшены, есть совершенно новый раздел и, по сути, переписанная вся страница обзора сканера. Дополнительные страницы позволяют Google увеличить информационную плотность всех страниц сканера и улучшить тематический охват.
<ч2>Что изменилось?
В журнале изменений документации Google отмечены два изменения, но на самом деле их гораздо больше.
Вот некоторые изменения:
<ул>
<ли>Добавлена информация о кодировке контента
.
Раздел технических свойств содержит совершенно новую информацию, которой ранее не существовало. В поведении сканера изменений нет, но, создав три тематические страницы, Google может добавить больше информации на страницу обзора сканера, одновременно уменьшая ее.
Это новая информация о кодировании (сжатии) контента:
“Сканеры и сборщики Google поддерживают следующие кодировки (сжатия) контента: gzip, deflate и Brotli (br). Кодировки контента, поддерживаемые каждым пользовательским агентом Google, объявляются в заголовке Accept-Encoding каждого отправляемого ими запроса. Например, Accept-Encoding: gzip, deflate, br.”
Существует дополнительная информация о сканировании по протоколам HTTP/1.1 и HTTP/2, а также заявление о том, что их цель — сканировать как можно больше страниц, не затрагивая сервер веб-сайта.
Какова цель обновления?
<п>Изменение документации произошло из-за того, что страница обзора стала большой. Дополнительная информация для сканера сделает обзорную страницу еще больше. Было принято решение разбить страницу на три подтемы, чтобы содержание конкретного сканера могло продолжать расти и освободить место для более общей информации на странице обзоров. Выделение подтем на отдельные страницы — блестящее решение проблемы наилучшего обслуживания пользователей.
Вот как журнал изменений документации объясняет это изменение:
“Документация стала очень длинной, что ограничило наши возможности расширять контент о наших сканерах и сборщиках, запускаемых пользователем.
…Реорганизована документация для сканеров Google и средств выборки, запускаемых пользователем. Мы также добавили подробные примечания о том, на какой продукт влияет каждый сканер, и добавили фрагмент файла robots.txt для каждого сканера, чтобы продемонстрировать, как использовать токены пользовательского агента. В остальном никаких значимых изменений в контенте не произошло.”
<п>В журнале изменений изменения преуменьшаются, описывая их как реорганизацию, поскольку обзор сканера существенно переписан, а также созданы три совершенно новые страницы.
Хотя контент практически не изменился, его разделение на подтемы позволяет Google добавлять больше контента на новые страницы, не продолжая расширять исходную страницу. Исходная страница под названием «Обзор сканеров и сборщиков Google (пользовательских агентов)» теперь представляет собой настоящий обзор с более подробным содержанием, перенесенным на отдельные страницы.
Google опубликовал три новые страницы:
<ол>
<х2>1. Обычные краулеры <п>Как сказано в названии, это обычные сканеры, некоторые из которых связаны с GoogleBot, включая Google InspectionTool, который использует пользовательский агент GoogleBot. Все боты, перечисленные на этой странице, подчиняются правилам robots.txt.
Это задокументированные сканеры Google:
<ул>
<х2>3. Гусеницы для особых случаев
Это сканеры, которые связаны с конкретными продуктами и сканируются по соглашению с пользователями этих продуктов и работают с IP-адресов, отличных от IP-адресов сканера GoogleBot.
Список краулеров особого назначения:
<ул>
Пользовательский агент для файла Robots.txt: Mediapartners-Google
Пользовательский агент для файла Robots.txt: AdsBot-Google
Пользовательский агент для файла Robots.txt: AdsBot-Google-Mobile
Пользовательский агент для файла Robots.txt: API-Google
Пользовательский агент для файла Robots.txt: Google-Safety
<х2>3. Сборщики, запускаемые пользователем
<п>На странице «Сборщики, запускаемые пользователем» описаны боты, которые активируются по запросу пользователя, что объясняется следующим образом:
“Инициируемые пользователем сборщики инициируются пользователями для выполнения функции извлечения в продукте Google. Например, Google Site Verifier действует по запросу пользователя, или сайт, размещенный в Google Cloud (GCP), имеет функцию, которая позволяет пользователям сайта получать внешний RSS-канал. Поскольку выборка была запрошена пользователем, эти сборщики обычно игнорируют правила robots.txt. Общие технические свойства сканеров Google также применимы к сборщикам, запускаемым пользователем.”
В документации описаны следующие боты:
<ул>
<ч2>Вынос:
Страница обзора сканера Google стала слишком подробной и, возможно, менее полезной, поскольку людям не всегда нужна подробная страница, их просто интересует конкретная информация. Страница обзора менее конкретна, но ее легче понять. Теперь он служит отправной точкой, с помощью которой пользователи могут перейти к более конкретным подтемам, связанным с тремя типами сканеров.
Это изменение дает представление о том, как обновить страницу, которая может быть неэффективной из-за того, что стала слишком обширной. Разбиение полной страницы на отдельные страницы позволяет подтемам удовлетворить конкретные потребности пользователей и, возможно, сделать их более полезными, если они будут ранжироваться в результатах поиска.
Я бы не сказал, что это изменение отражает что-то в алгоритме Google, оно лишь отражает то, как Google обновил свою документацию, чтобы сделать ее более полезной, и настроил ее для добавления еще большего количества информации.< /п>
