Google не всегда сразу прокручивает каждую страницу на веб-сайте. Иногда это может занять недели. Это может помешать вашим усилиям по SEO. Ваша недавно оптимизированная целевая страница может быть не проиндексирована. На этом этапе пришло время оптимизировать краулинговый бюджет. В этой статье мы обсудим, что такое ‘бюджет сканирования’ и что вы можете сделать, чтобы оптимизировать его.
Что такое краулинговый бюджет?
<п>Бюджет сканирования – это количество страниц, которые Google сканирует на вашем сайте за определенный день. Это число незначительно колеблется ежедневно, но в целом относительно стабильно. Google может сканировать шесть страниц вашего сайта каждый день. он мог просканировать 5000 страниц; Он мог даже сканировать 4 000 000 страниц каждый день. Количество страниц, просканированных Google, ваш ‘бюджет’ обычно определяется размером вашего веб-сайта, ‘здоровьем’ ваш веб-сайт (сколько ошибок обнаруживает Google) и количество ссылок от довашего сайта. На некоторые из этих факторов вы можете повлиять; Мы вернемся к этому через минуту.
Как работает сканер?
<п>Сканер, такой как Googlebot, получает список URL-адресов для сканирования на веб-сайте. Этот список систематически пересматривается. Время от времени он обращается к вашему файлу robots.txt, чтобы убедиться, что каждый URL-адрес по-прежнему разрешен для сканирования, а затем сканирует URL-адреса по одному. После того как паук просканировал URL-адрес и проанализировал его содержимое, он добавляет новые URL-адреса, найденные на этой странице, для обратного сканирования в список дел.
Некоторые события могут создать у Google впечатление, что URL-адрес необходимо просканировать. Возможно, были найдены новые ссылки, указывающие на контент, или кто-то написал об этом в Твиттере, или он мог быть обновлен в XML-карте сайта и т. д. и т. п. Невозможно составить список всех причин, по которым Google будет сканировать URL-адрес. Однако, если Google определит, что это необходимо, он добавит это в список дел.
Когда возникает проблема с краулинговым бюджетом?
<п>Бюджет сканирования не является проблемой, если у Google есть много URL-адресов для сканирования на вашем сайте и назначено много проверок. Предположим, на вашем веб-сайте 250 000 страниц, и Google каждый день сканирует 2500 страниц этого конкретного веб-сайта. Некоторые из них (например, домашняя страница) сканируются более интенсивно, чем другие. Если вы не примете меры, Google может заметить определенные изменения на ваших страницах в течение 200 дней. Сканирование бюджета теперь является проблемой. С другой стороны, если в день сканируется 50 000, проблем вообще нет.
Выполните следующие шаги, чтобы определить, есть ли у вашего сайта проблемы с бюджетом сканирования. Это предполагает, что на вашем сайте относительно небольшое количество URL-адресов, которые сканируются Google, но не индексируются (например, из-за того, что вы добавили мета-ноиндекс).
<ол>
<ли>Зайдите в “Настройки” -> “Статистика сканирования” и подсчитайте среднее количество страниц, просканированных за день.
‘Статистика сканирования’ Отчет консоли поиска Google
Какие URL-адреса сканирует Google?
Вы действительно должны знать, какие URL-адреса Google сканирует на вашем сайте. Журналы сервера вашего сайта являются единственными ‘реальными’ способ познания. Для более крупных веб-сайтов вы можете использовать что-то вроде Logstash + Kibana. Для небольших веб-сайтов ребята из Screaming Frog выпустили инструмент анализатора файлов журналов SEO.
Получить и просмотреть журналы сервера
<п>В зависимости от типа вашего хостинга вы не всегда сможете получить доступ к файлам журналов. Однако, если вы даже думаете, что вам нужно поработать над оптимизацией краулингового бюджета, потому что ваш сайт большой, то вам следует это сделать. Если ваш хост не позволяет вам их получать, пришло время сменить хоста.
Настройка бюджета сканирования вашего веб-сайта во многом похожа на ремонт автомобиля. Вы не можете исправить это, глядя со стороны; Вам нужно открыть этот двигатель. Просматривать журналы поначалу будет страшно. Вы быстро заметите, что в бревнах много шума. Вы обнаружите множество распространенных ошибок 404, которые, по вашему мнению, являются ерундой. Но у вас есть, чтобы их исправить. Вам нужно пробраться через этот шум и убедиться, что ваш сайт не утонул в тоннах старых 404-х.
Увеличьте бюджет сканирования
Давайте посмотрим, что поможет увеличить количество страниц, которые Google может сканировать на вашем сайте.
<х3>Обслуживание сайта: меньше ошибок
Первый шаг к сканированию большего количества страниц — убедиться, что просканированные страницы возвращают один из двух возможных кодов возврата: 200 (для “OK”) или 301 (для &#). 8220; Вместо этого идите сюда”). Все остальные коды возврата: not OK. Чтобы узнать это, посмотрите журналы сервера вашего сайта. Google Analytics и большинство других аналитических пакетов отслеживают только те страницы, которые предоставили 200. Поэтому вы не найдете там много ошибок на своем сайте.
<п>Имея журналы сервера, вы сможете находить и исправлять распространенные ошибки. Самый простой способ — собрать все URL-адреса, которые не вернули 200 или 301, а затем отсортировать их по частоте доступа. Исправление ошибки может означать, что вам нужно исправить код. Или вам может потребоваться перенаправить URL-адрес куда-то еще. Если вы знаете, что вызвало ошибку, вы также можете попытаться устранить причину.
Еще один хороший источник для поиска ошибок — консоль поиска Google. Дополнительную информацию можно найти в нашем руководстве по Search Console. Если у вас есть Yoast SEO Premium, вы можете легко перенаправить их с помощью менеджера перенаправления.
Блокировать части вашего сайта
<п>Если на вашем сайте есть разделы, которым не обязательно быть в Google, заблокируйте их с помощью файла robots.txt. Конечно, делайте это только в том случае, если вы знаете, что делаете. Одна из наиболее распространенных проблем, которые мы видим на крупных веб-сайтах электронной коммерции, заключается в том, что они предлагают бесчисленное множество вариантов фильтрации продуктов. Каждый фильтр потенциально добавляет новые URL-адреса для Google. В таких случаях вам следует убедиться, что Google использует только один или два таких фильтра, а не все.
Уменьшить цепочки отвлечений
Что-то странное происходит, когда вы 301 перенаправляете URL. Google распознает новый URL-адрес и добавит его в список дел. Это не всегда следует немедленно; он добавляет его в свой список дел и движется дальше. Если вы используете цепочку перенаправлений, например, если вы перенаправляете без www на www, а затем с http на https, везде будет два перенаправления, поэтому сканирование всего займет больше времени.
Получить больше ссылок
<п>Это легко сказать, но трудно сделать. Чтобы получить больше ссылок, нужно не только быть классным, но и убедиться, что другие знают, что вы классный. Все сводится к хорошему пиару и хорошему участию в социальных сетях. Мы много писали о построении ссылок; Рекомендуем вам прочитать эти три поста:
<ол>
Если у вас острая проблема с индексацией, первое, что вам следует сделать, это проверить ошибки сканирования, заблокировать части вашего сайта и исправить цепочки перенаправления. Создание ссылок — это очень медленный способ увеличить краулинговый бюджет. С другой стороны, если вы собираетесь создать большой веб-сайт, построение ссылок должно быть частью вашего процесса.
TL;DR: Оптимизировать краулинговый бюджет сложно
Оптимизация бюджета сканирования не для слабонервных. Если вы хорошо обслуживаете свой веб-сайт или ваш веб-сайт относительно небольшой, это не тот случай. 8217;s, вероятно, не нужен. Если ваш веб-сайт среднего размера и хорошо поддерживается, это довольно легко сделать с помощью приведенных выше приемов.
Оцените свою техническую SEO-подготовку
Оптимизация краулингового бюджета является частью вашего технического SEO. Вам интересно, как работает техническое SEO вашего сайта? ?? Мы создали тест на техническую SEO-оптимизацию, чтобы помочь вам понять, над чем вам нужно работать!
