Google Search Advocate помогает диагностировать проблемы сканирования, рекомендует проверить общую инфраструктуру, если затронуто несколько доменов.

• Общая инфраструктура (например, CDN) часто является основной причиной того, что Google перестает сканировать несколько доменов.
• Данные Search Console могут помочь отличить проблемы DNS от неудачных запросов.
• Короткие сбои в сканировании, продолжающиеся всего несколько часов, не влияют на рейтинг в поиске.

<п>Специалист по поиску Google Джон Мюллер поделился советами по диагностике распространенных проблем со сканированием.

<стр>Это руководство было опубликовано в ответ на сбой, о котором Адриан Шмидт сообщил в LinkedIn. Сканер Google прекратил доступ к нескольким доменам одновременно.

Несмотря на перерыв, Шмидт отметил, что живые тесты через Search Console продолжали работать без сообщений об ошибках.

Расследования показали отсутствие увеличения количества ошибок 5xx или проблем с запросами robots.txt.

В чем может быть проблема?

Ответ Мюллера

Комментируя ситуацию, Мюллер указал на общую инфраструктуру как на вероятную причину:

“Если он используется несколькими доменами и фокусируется на чем-то вроде сканирования, возможно, это проблема с общей частью инфраструктуры. Если он уже восстанавливается, по крайней мере, это уже не срочно, и у вас есть немного времени, чтобы покопаться в последних изменениях/журналах инфраструктуры.”

< /blockquote> <ч2>Исследование инфраструктуры

Все пострадавшие сайты использовали Cloudflare в качестве CDN, что вызвало у некоторых удивление.

Отвечая на вопрос об отладке, Мюллер рекомендовал проверить данные Search Console, чтобы определить, является ли проблема DNS или неудачными запросами.

Мюллер заявил:

“Статистика сканирования в Search Console также покажет немного больше, возможно, поможет решить, скажем, DNS или неудачные запросы.”

Он также отметил, что время было ключевым моментом:

“Если бы все это было одновременно, то это был бы не robots.txt и, вероятно, не DNS.&rdquo ;

Влияние на результаты поиска

<п>Что касается проблем с видимостью при поиске, Мюллер заверил, что подобные нарушения не вызовут никаких проблем:

“Если бы это было сегодня и длилось всего несколько часов, я бы не ожидал каких-либо видимых проблем при поиске.”

Почему это важно

Когда Googlebot внезапно перестает сканировать множество сайтов одновременно, может быть сложно определить основную причину.

Хотя временные паузы в сканировании не могут немедленно повлиять на рейтинг в поисковых системах, они могут нарушить способность Google обнаруживать и индексировать новый контент.

Этот инцидент подчеркивает уязвимость, с которой могут столкнуться организации, не осознавая этого, особенно те, которые полагаются на общую инфраструктуру.

Как это может вам помочь

Если time Googlebot перестанет сканировать ваши сайты:

<ул>

Проверьте, не затрагивает ли проблема сразу несколько сайтов

Сначала посмотрите на свою общую инфраструктуру

Используйте данные Search Console, чтобы сузить причину

Не исключайте DNS только потому, что обычный трафик выглядит нормально

Следите за своими журналами

Для тех, кто использует несколько сайтов за CDN, убедитесь, что вы:

<ул>

Хорошо настройте журналирование

Следите за скоростью сканирования

Знай, кому позвонить, когда дела идут не так

Следите за поставщиком инфраструктуры