В новом руководстве Google рекомендуется использовать заголовки ETag для кэширования, чтобы уменьшить ненужное сканирование и сэкономить ресурсы

Google объявила об обновлении документации своего сканера, добавив дополнительную информацию о кэшировании, которая должна помочь лучше понять, как оптимизировать работу сканера Google. Следуя новым рекомендациям по реализации правильных заголовков HTTP-кэширования, оптимизаторы и издатели могут повысить эффективность сканирования и оптимизировать ресурсы сервера.

Обновлена ​​документация по сканеру

<п>В документации сканера теперь есть раздел, в котором объясняется, как сканеры Google используют механизмы HTTP-кэширования, которые помогают экономить вычислительные ресурсы как издателей, так и Google во время сканирования.

Дополнения к документации значительно расширяют предыдущую версию.

Механизмы кэширования

<п>Google рекомендует включать кеширование с такими заголовками, как ETag и If-None-Match, а также (при необходимости) Last-Modified и If-Modified-Since, чтобы сигнализировать об изменении содержимого. Это может помочь сократить ненужное сканирование и сэкономить ресурсы сервера, что является выигрышем как для издателей, так и для сканеров Google.

В новой документации указано:

“Инфраструктура сканирования Google поддерживает эвристическое HTTP-кэширование, как определено стандартом HTTP-кэширования, в частности, посредством запросов ответа ETag и запроса If-None-Match. заголовок, а также ответ Last-Modified и запрос If-Modified-Since. заголовок.”

Предпочтение Google для предпочтения ETag

Google рекомендует использовать ETag вместо Last-Modified, поскольку ETag менее подвержен ошибкам, таким как проблемы с форматированием даты, и обеспечивает более точную проверку контента. Здесь также объясняется, что произойдет, если будут поданы оба заголовка ответа ETag и Last-Modified:

<блоковая цитата><п>“Если в ответе HTTP присутствуют поля заголовка ответа ETag и Last-Modified, сканеры Google используют значение ETag в соответствии со стандартом HTTP.”

В новой документации также указано, что другие директивы HTTP-кэширования не поддерживаются.

Переменная поддержка для сканеров

В новой документации объясняется, что поддержка кэширования различается у сканеров Google. Например, Googlebot поддерживает кэширование для повторного сканирования, а Storebot-Google имеет ограниченную поддержку кэширования.

Google объясняет:

“Отдельные сканеры и сборщики Google могут использовать или не использовать кеширование, в зависимости от потребностей продукта, с которым они связаны. Например, Googlebot поддерживает кеширование при повторном сканировании URL-адресов для поиска Google, а Storebot-Google поддерживает кеширование только при определенных условиях”

Руководство по внедрению

В новой документации Google рекомендуется обращаться за помощью к поставщикам хостинга или CMS. Он также предполагает (но не требует), чтобы издатели установили поле max-age в заголовке ответа Cache-Control, чтобы сканеры знали, когда сканировать определенные URL-адреса.

<стр>Совершенно новое сообщение в блоге

Google также опубликовал новую запись в блоге:

Читать обновленную документацию: