Google ограничивает поддержку файла robots.txt четырьмя полями, разъясняя свою позицию в отношении неподдерживаемых директив.

• Google поддерживает только четыре определенных поля robots.txt.
• Неподдерживаемые директивы в robots.txt будут игнорироваться.
• Рассмотрите возможность аудита файлов robots.txt в свете этого обновления.

  <п>В недавнем обновлении документации Search Central Google разъяснил свою позицию по поводу неподдерживаемых полей в файлах robots.txt.

  Обновление ключа

  Google заявила, что ее сканеры не поддерживают поля, не перечисленные в документации robots.txt.

  Это разъяснение является частью усилий Google по предоставлению однозначных рекомендаций владельцам и разработчикам веб-сайтов.

  <стр>Google заявляет:

  “Иногда мы получаем вопросы о полях, которые явно не указаны как поддерживаемые, и мы хотим дать понять, что это не так. ”

  Это обновление должно устранить путаницу и предотвратить использование веб-сайтами неподдерживаемых директив.

  Что это значит:

  <ол>

• Придерживайтесь поддерживаемых полей: используйте только поля, явно упомянутые в документации Google.
• Просмотр существующих файлов robots.txt: проверьте текущие файлы robots.txt, чтобы убедиться, что они не содержат неподдерживаемых директив.< /ли>
• Учитывайте ограничения: сканеры Google могут не распознавать определенные сторонние или пользовательские директивы.

Поддерживаемые поля:

Согласно обновленной документации, Google официально поддерживает следующие поля в файлах robots.txt:

<ул>

• пользовательский агент
• разрешить
• запретить
• карта сайта

Заметные пропуски:

Хотя это и не указано явно, это разъяснение подразумевает, что Google не поддерживает часто используемые директивы, такие как “crawl-delay, ” хотя другие поисковые системы могут их распознать.

‌Кроме того, стоит отметить, что Google постепенно прекращает поддержку ‘noarchive‘ директива.

Заглядывая в будущее:

<стр>Это обновление является напоминанием о необходимости быть в курсе официальных рекомендаций и лучших практик.

Это подчеркивает необходимость использования документированных функций, а не поддержки недокументированных директив.

Более подробную информацию о реализации robots.txt и передовом опыте можно найти в официальной документации Google Search Central.

<мкл>