Для каких файлов журналов можно использовать

Файлы журналов — это наиболее точная запись того, как пользователь или бот перемещался по вашему веб-сайту. Их часто считают наиболее авторитетной записью взаимодействия с вашим веб-сайтом, хотя кеширование CDN и конфигурация инфраструктуры могут повлиять на полноту.

Что сканируют поисковые системы

Одним из наиболее важных применений файлов журналов для SEO является понимание того, какие страницы нашего сайта сканируются поисковыми роботами.

<п>Файлы журналов позволяют нам видеть, какие страницы сканируются и с какой частотой. Они могут помочь нам проверить, сканируются ли важные страницы и сканируются ли часто меняющиеся страницы с большей частотой по сравнению со статическими страницами.

Файлы журналов можно использовать, чтобы увидеть, есть ли потери при сканировании, т. е. страницы, которые вы не хотите сканировать или с какой-либо реальной частотой занимают время сканирования, когда бот посещает сайт. Например, просматривая файлы журналов, вы можете определить, что параметризованные URL-адреса или страницы с разбивкой на страницы привлекают слишком много внимания сканирования по сравнению с вашими основными страницами.

Эта информация может иметь решающее значение при выявлении проблем с обнаружением и сканированием страниц.

Правильное распределение бюджета на сканирование

Анализ файлов журналов может дать точную картину краулингового бюджета. Это может помочь определить, какие разделы сайта привлекают наибольшее внимание, а какие боты игнорируют.

<п>Это может иметь решающее значение для определения того, есть ли на сайте страницы с плохими ссылками или им уделяется меньший приоритет сканирования, чем тем разделам сайта, которые имеют меньшую важность.

Файлы журналов также могут быть полезны после завершения сложной технической работы по SEO. Например, когда веб-сайт был перенесен, просмотр файлов журналов может помочь определить, насколько быстро обнаруживаются изменения на сайте.

С помощью файлов журналов также можно определить, действительно ли изменения в структуре веб-сайта способствовали оптимизации сканирования.

<п>При проведении SEO-экспериментов необходимо знать, просканирована ли ботами страница, являющаяся частью эксперимента, или нет, поскольку это может определить, был ли ими просмотрен тестовый опыт. Лог-файлы могут дать такую информацию.

Поведение сканирования при технических проблемах

Файлы журналов также могут быть полезны при обнаружении технических проблем на веб-сайте. Например, бывают случаи, когда код состояния, сообщаемый инструментом сканирования, не обязательно будет кодом состояния, который бот получит при посещении страницы. В этом случае файлы журналов будут единственным способом точно это определить.

<п>Файлы журналов позволят вам увидеть, сталкиваются ли боты с временными сбоями в работе сайта, а также сколько времени им потребуется, чтобы повторно обнаружить те же самые страницы с правильным статусом после устранения проблемы.

Верификация бота

Одна из очень полезных функций анализа файлов журналов заключается в различении настоящих и поддельных ботов. Таким образом вы можете определить, заходят ли на ваш сайт боты под видом Google или Microsoft, но на самом деле они принадлежат другой компании. Это важно, поскольку боты могут обходить меры безопасности вашего сайта, выдавая себя за роботов Google, тогда как на самом деле они хотят совершить на вашем сайте гнусные действия, например, очистить данные.

<п>Используя файлы журналов, можно определить диапазон IP-адресов, из которого пришел бот, и сравнить его с известными диапазонами IP-адресов законных ботов, таких как Googlebot. Это может помочь ИТ-командам обеспечить безопасность веб-сайта без непреднамеренной блокировки подлинных поисковых ботов, которым необходим доступ к веб-сайту для эффективности SEO.

Обнаружение потерянных страниц

Файлы журналов можно использовать для идентификации внутренних страниц, которые инструменты не обнаружили. Например, робот Googlebot может узнать о странице по внешней ссылке на нее, тогда как инструмент сканирования сможет обнаружить ее только через внутренние ссылки или через карты сайта.

<п>Просмотр файлов журналов может быть полезен для диагностики потерянных страниц вашего сайта, о которых вы просто не знали. Это также очень полезно для выявления устаревших URL-адресов, которые больше не должны быть доступны через сайт, но все еще могут сканироваться. Например, URL-адреса HTTP или субдомены, которые не были перенесены должным образом.

Что другие инструменты не могут сообщить нам о том, что могут сообщить файлы журналов

Если вы в настоящее время не используете файлы журналов, вы вполне можете использовать другие инструменты SEO, чтобы на полпути к пониманию того, что могут предоставить файлы журналов.

Аналитическое программное обеспечение

Аналитическое программное обеспечение, такое как Google Analytics, может дать вам представление о том, какие страницы существуют на веб-сайте, даже если боты не обязательно имеют к ним доступ.

Аналитические платформы также предоставляют много подробностей о поведении пользователей на веб-сайте. Они могут дать представление о том, какие страницы наиболее важны для коммерческих целей, а какие неэффективны.

<п>Однако они не отображают информацию о поведении непользователей. Фактически, большинство аналитических программ предназначены для фильтрации поведения ботов, чтобы гарантировать, что предоставляемые данные отражают только пользователей-людей.

Хотя они полезны для определения пути пользователей, они не дают никаких указаний на путь ботов. Невозможно определить, какую последовательность страниц посетил поисковый бот и как часто.

Консоль поиска Google/Инструменты Bing для веб-мастеров

Поисковые системы’ Консоли поиска часто предоставляют обзор технического состояния веб-сайта, например, возникшие проблемы со сканированием и время последнего сканирования страниц. Однако статистика сканирования агрегируется, а данные о производительности отбираются для крупных сайтов. Это означает, что вы не сможете получить информацию на конкретных страницах, которые вас интересуют.

Они также предоставляют информацию только о своих ботах. Это означает, что может быть сложно собрать воедино информацию о сканировании ботов и даже увидеть поведение ботов от компаний, которые не предлагают такой инструмент, как консоль поиска.

Сканеры веб-сайтов

<п>Программное обеспечение для сканирования веб-сайтов может помочь имитировать то, как поисковый бот может взаимодействовать с вашим сайтом, включая то, к чему он может технически получить доступ, а к чему нет. Однако они не показывают вам, к чему на самом деле обращается бот. Они могут дать информацию о том, теоретически может ли страница сканироваться поисковым ботом, но не предоставляют никаких данных в реальном времени или исторических данных о том, обращался ли бот к странице, когда и как часто.

Сканеры веб-сайтов также имитируют поведение ботов в условиях, которые вы им задаете, а не обязательно в условиях, с которыми на самом деле сталкиваются поисковые роботы. Например, без файлов журналов сложно определить, как поисковые боты перемещались по сайту во время DDoS-атаки или сбоя сервера.

Почему нельзя использовать файлы журналов

Есть много причин, по которым оптимизаторы могут уже не использовать файлы журналов.

Сложность их получения

<п>Зачастую доступ к файлам журналов не так прост. Возможно, вам придется поговорить с вашей командой разработчиков. В зависимости от того, находится ли эта команда в штате или нет, это может буквально означать попытку выследить, кто первым имеет доступ к файлам журналов.

Для команд, работающих на стороне агентства, возникает дополнительная сложность, поскольку компаниям необходимо передавать потенциально конфиденциальную информацию за пределы организации. Файлы журналов могут содержать личную информацию, например IP-адреса. Для тех, на кого распространяются такие правила, как GDPR, могут возникнуть некоторые опасения по поводу отправки этих файлов третьей стороне. Может возникнуть необходимость в очистке данных перед их публикацией. Это могут быть материальные затраты времени и ресурсов, которые клиент может не захотеть тратить просто на то, чтобы поделиться своими лог-файлами со своим SEO-агентством.

Требования к пользовательскому интерфейсу

Как только у вас появится доступ к файлам журналов, дальше не все будет гладко. Вам нужно будет понять, на что вы смотрите. Файлы журналов в их необработанной форме представляют собой просто текстовые файлы, содержащие строку за строкой данных.

Это не то, что легко разобрать. Чтобы по-настоящему разобраться в файлах журналов, обычно необходимо приобрести программу, которая поможет их расшифровать. Цена на них может варьироваться в зависимости от того, являются ли они программами, предназначенными для того, чтобы вы могли запускать файл на разовой основе, или вы подключаете к ним файлы журналов, чтобы они непрерывно передавались в программу.

Требования к хранению

<п>Также необходимо хранить файлы журналов. Помимо того, что они безопасны по причинам, упомянутым выше, например, согласно GDPR, их может быть очень сложно хранить в течение длительного времени из-за того, как быстро они растут в размерах.

Для крупного веб-сайта электронной коммерции размер файлов журналов может достигать сотен гигабайт в течение месяца. В таких случаях их хранение становится проблемой технической инфраструктуры. В этом может помочь сжатие файлов. Однако, учитывая, что для диагностики проблем с поисковыми роботами может потребоваться несколько месяцев данных или их сравнение в течение длительных периодов времени, эти файлы могут стать слишком большими для экономичного хранения.

Ощущаемая техническая сложность

<стр>Как только ваши файлы журналов будут в расшифрованном формате, очищены и готовы к использованию, вам действительно нужно знать, что с ними делать.

Многие SEO-специалисты сталкиваются с серьезным препятствием при использовании файлов журналов просто потому, что они кажутся слишком техническими для использования. В конце концов, это всего лишь строки информации о посещениях веб-сайта. Это может показаться ошеломляющим.

Следует ли оптимизаторам использовать файлы журналов?

<п>Да, если можешь.

Как упоминалось выше, существует множество причин, по которым вы не сможете получить файлы журналов и преобразовать их в полезный источник данных. Однако, как только вы сможете, это откроет совершенно новый уровень понимания технического состояния вашего веб-сайта и того, как с ним взаимодействуют боты.

Будут сделаны открытия, которых просто невозможно было бы достичь без данных файла журнала. Инструменты, которые вы сейчас используете, вполне могут частично помочь вам в этом. Однако они никогда не дадут вам полной картины.