Сотрудник Google Джон Мюллер сообщил, что у Google были внутренние дискуссии о разрешении использования директивы noindex в файле robots.txt

. <п> <изображение fetchpriority="высокий" src="https://www.searchenginejournal.com/wp-content/uploads/2024/03/google-noindex-directive-760x400.jpg" ширина = "760" высота="400" alt="Google обсуждал возможность разрешить Noindex в файле robots.txt" srcset="https://www.searchenginejournal.com/wp-content/uploads/2024/03/google-noindex-directive-1520x800.jpg 1,5x" /> <п>Джон Мюллер из Google ответил на вопрос в LinkedIn, чтобы обсудить использование неподдерживаемой директивы noindex в файле robots.txt его собственного личного веб-сайта. Он объяснил плюсы и минусы поддержки этой директивы поисковыми системами и рассказал о внутренних дискуссиях Google по поводу ее поддержки.

Роботы Джона Мюллера.txt

То, что файл robots.txt Мюллера был тщательно изучен и стал вирусным в сообществе поискового маркетинга, было почти неизбежным.

Директива Noindex

<п>Все, что находится в файле robots.txt, называется директивой. Директива — это запрос к веб-сканеру, который он обязан выполнить (если он подчиняется директивам robots.txt).

Существуют стандарты написания директивы robots.txt, и все, что не соответствует этим стандартам, скорее всего, будет проигнорировано. Нестандартная директива в файле robots.txt Мюллера привлекла внимание человека, который решил задать вопрос Джону Мюллеру через LinkedIn, чтобы узнать, поддерживает ли Google эту нестандартную директиву.

Это хороший вопрос, потому что легко предположить, что если гуглёр его использует, то, возможно, Google его поддерживает.

Нестандартной директивой была noindex. Noindex является частью стандарта мета-роботов, но не является частью стандарта robots.txt. У Мюллера был не один экземпляр директивы noindex, у него было 5506 директив noindex.

SEO-специалист, задавший вопрос, Махек Гири, написал:

“В файле robots.txt Джона Мюллера

есть необычная команда:

“noindex:”

Эта команда не является частью стандартного формата robots.txt,

<стр>Как вы думаете, это окажет какое-то влияние на то, как поисковая система индексирует его страницы?

Джону Мюллеру интересно узнать о noindex: в robots.txt”

Почему директива Noindex в файле robots.txt не поддерживается Google

<п>Джон Мюллер из Google ответил, что он не поддерживается.

Мюллер ответил:

“Это неподдерживаемая директива, она ничего не делает.”

Затем Мюллер объяснил, что Google одно время рассматривал возможность поддержки директивы noindex из файла robots.txt, поскольку она давала бы издателям возможность блокировать Google как сканирование, так и индексирование контента одновременно. время. <п>Прямо сейчас можно заблокировать сканирование в файле robots.txt или заблокировать индексацию с помощью мета-директивы robots noindex. Но вы не можете одновременно заблокировать индексирование с помощью мета-директивы robots и заблокировать сканирование в файле robots.txt, поскольку блокировка сканирования не позволит сканеру “видеть” директива мета-роботов.

Мюллер объяснил, почему Google решила не продвигать идею соблюдения директивы noindex в файле robots.txt.

Он написал:

<блоковая цитата><п>“Было много дискуссий о том, следует ли поддерживать его как часть стандарта robots.txt. Идея заключалась в том, что было бы неплохо заблокировать сканирование и индексирование одновременно. С помощью файла robots.txt вы можете заблокировать сканирование или заблокировать индексирование (с помощью метатега robots, если вы разрешаете сканирование). Идея заключалась в том, что вы могли бы использовать “noindex” в robots.txt и заблокируйте оба.

К сожалению, поскольку многие люди копируют &amp;amp;amp;amp;amp;amp; вставляйте файлы robots.txt, не рассматривая их подробно (мало кто смотрит так далеко, как вы!), кому-то будет очень и очень легко случайно удалить важные части веб-сайта. Итак, было решено, что это не должен быть поддерживаемый директор или часть стандарта robots.txt… вероятно, это было более 10 лет назад.”

Почему в файле Robots.txt Мюллера был этот Noindex

Мюллер ясно дал понять, что Google вряд ли будет поддерживать этот тег, и что это было подтверждено около десяти лет назад. Информация об этих внутренних дискуссиях интересна, но она также углубляет чувство странности, связанное с файлом robots.txt.

Мюллера.

См. также: 8 распространенных проблем с файлом Robots.txt и способы их устранения