Гэри Иллис из Google сообщает, что Googlebot собирает ссылки вместо того, чтобы «следовать» по ним, что противоречит официальной документации.

• Googlebot собирает ссылки, а не переходит по ним в режиме реального времени.
• Гэри Иллис поделился этой информацией в подкасте Google «Search Off The Record».
• Документация Google противоречит реальному поведению сканера.

  В недавнем выпуске подкаста Google’s Search Off The Record аналитик Гэри Иллис пояснил, как робот Googlebot взаимодействует со ссылками в процессе сканирования.

  Его мнение противоречит широко распространенному мнению, что робот Google перемещается по веб-сайтам, переходя по ссылкам в режиме реального времени.

  По словам Иллиеса, робот Googlebot собирает ссылки для последующей обработки, а не следует по ним линейным образом.

  <п>Это недоразумение связано с собственной документацией Google.

  Противоречивая информация

  “Это моя любимая мозоль,” — заявил Иллиес во время подкаста, ссылаясь на страницы поддержки Google.

  <п>Он продолжает:

  “На нашем сайте мы постоянно говорим, что робот Googlebot переходит по ссылкам, но нет, он не переходит по ссылкам. Он собирает ссылки, а затем возвращается к этим ссылкам.”

  Что говорят документы

  <п>В официальной документации Google по сканерам говорится (выделено мной):

  “Crawler (иногда его также называют ‘робот’ или ‘паук’) — это общий термин для любой программы, которая используется для автоматического обнаружения и сканирования веб-сайтов путем перехода по ссылкам с одной веб-страницы на другую.”

  В документе подразумевается, что робот Googlebot перемещается по сети, активно переходя по ссылкам в режиме реального времени.

  <п>Это подчеркивает несоответствие между публичными сообщениями Google и реальными функциями их сканера, вызывая вопросы о других потенциальных недопониманиях в сообществе SEO.

  Последствия для SEO

  Это открытие имеет несколько потенциальных последствий для того, как мы понимаем процесс сканирования Google:

  <ч2>Взгляд в будущее

  Многие стратегии SEO построены на предположении, что робот Googlebot перемещается по веб-сайтам, переходя по внутренним ссылкам, как посетитель на странице.

  Если Иллиес’ описание точное, оно предполагает, что поведение робота Googlebot более сложное, чем предполагалось ранее.

  Хотя это открытие не опровергает текущие лучшие практики SEO, оно подчеркивает необходимость того, чтобы специалисты по SEO были в курсе нюансов работы Google.

  Слушайте, Иллиес’ заявление в подкасте ниже: