Google разъясняет рекомендации по использованию robots.txt и объясняет, когда использовать директивы robots.txt и теги noindex для SEO.

• Не комбинируйте запрет в файле robots.txt с тегами noindex.
• Используйте noindex, если вы хотите, чтобы страница сканировалась, но не отображалась в результатах поиска.
• Используйте запрет в файле robots.txt для страниц, которые никогда не следует сканировать.

  <п>В недавнем видео на YouTube Мартин Сплитт из Google объяснил различия между параметрами “noindex” в метатегах robots и тег “disallow” команда в файлах robots.txt.

  Сплитт, адвокат разработчиков Google, отметил, что оба метода помогают управлять тем, как сканеры поисковых систем работают с веб-сайтом.

  Однако они имеют разные цели и не должны использоваться вместо друг друга.

  Когда использовать Noindex

  <п>Параметр “noindex” Директива сообщает поисковым системам не включать определенную страницу в результаты поиска. Вы можете добавить эту инструкцию в раздел заголовка HTML, используя метатег robots или HTTP-заголовок X-Robots.

  Используйте “noindex” когда вы хотите, чтобы страница не отображалась в результатах поиска, но при этом разрешила поисковым системам читать ее содержимое. Это полезно для страниц, которые могут видеть пользователи, но вы не хотите, чтобы их отображали поисковые системы, например страницы благодарности или страницы результатов внутреннего поиска.

  Когда использовать Disallow

  Кнопка “disallow” Директива в файле robots.txt веб-сайта запрещает сканерам поисковых систем получать доступ к определенным URL-адресам или шаблонам. Если страница запрещена, поисковые системы не будут сканировать или индексировать ее содержимое.

  <п>Сплитт советует использовать “disallow” когда вы хотите полностью заблокировать поисковые системы при получении или обработке страницы. Это подходит для конфиденциальной информации, такой как личные данные пользователя, или для страниц, которые не имеют отношения к поисковым системам.

  Распространенные ошибки, которых следует избегать

  Одна из распространенных ошибок владельцев веб-сайтов — использование “noindex” и “запретить” для той же страницы. Сплитт не советует этого делать, поскольку это может вызвать проблемы.

  Если страница запрещена в файле robots.txt, поисковые системы не смогут видеть тег “noindex” команда в метатеге страницы или заголовке X-Robots. В результате страница все равно может быть проиндексирована, но с ограниченной информацией.

  Чтобы страница не появлялась в результатах поиска, Splitt рекомендует использовать параметр “noindex” команду без запрета страницы в файле robots.txt.

  Google предоставляет отчет robots.txt в Google Search Console для тестирования и отслеживания того, как файлы robots.txt влияют на индексацию поисковых систем.

  Почему это важно

  <стр>Правильное использование “noindex” и “запретить” Директивы необходимы профессионалам SEO.

  Следуя советам Google и используя доступные инструменты тестирования, вы сможете убедиться, что ваш контент отображается в результатах поиска так, как предполагалось.

  <стр>Полное видео смотрите ниже: