<п>

• Многие веб-сканеры ложно выдают себя за роботов Google, что может искажать аналитику веб-сайта и тратить ресурсы.
• Реальный трафик Googlebot можно проверить с помощью таких инструментов Google, как Search Console и тест расширенных результатов.
• Вы можете отслеживать ответы сервера и шаблоны ошибок, чтобы выявить потенциальные проблемы, связанные со сканером.

Защитник разработчиков Google Мартин Сплитт предупреждает владельцев веб-сайтов, что им следует быть осторожными с трафиком, исходящим от робота Googlebot. Многие запросы, выдающие себя за роботов Googlebot, на самом деле исходят от сторонних парсеров.

Он поделился этим в последнем выпуске серии Google SEO Made Easy, подчеркнув, что «не все, кто утверждает, что являются роботами Google, на самом деле являются роботами Google».

Почему это важно?

Поддельные сканеры могут искажать аналитику, потреблять ресурсы и затруднять точную оценку производительности вашего сайта.

<стр>Вот как отличить законный трафик Googlebot от фальшивой активности сканера.

Методы проверки робота Google

Вы можете отличить реальный трафик Googlebot от фальшивого трафика, просматривая общие закономерности трафика, а не необычные запросы.

Реальный трафик Googlebot обычно имеет постоянную частоту запросов, время и поведение.

Если вы подозреваете, что робот Googlebot ведет себя фальшиво, Splitt советует использовать для проверки следующие инструменты Google:

Инструмент проверки URL-адресов (поисковая консоль)

<ул>

• Обнаружение определенного содержания в отрендеренном HTML-коде подтверждает, что робот Googlebot может успешно получить доступ к странице.
• Обеспечивает возможность тестирования в реальном времени для проверки текущего статуса доступа.

<сильный>Тест с богатыми результатами

<ул>

• Действует как альтернативный метод проверки доступа робота Google
• Показывает, как робот Googlebot отображает страницу
• Можно использовать даже без доступа к консоли поиска

Отчет о статистике сканирования

<ул>

• Показывает подробные данные ответов сервера, в частности, по подтвержденным запросам робота Google
• Помогает выявить закономерности в законном поведении робота Google

Существует ключевое ограничение, на которое стоит обратить внимание: эти инструменты проверяют, что видит и делает настоящий робот Googlebot, но они не идентифицируют напрямую подставных лиц в журналах вашего сервера.

<п>Чтобы полностью защититься от фейковых роботов Google, вам необходимо:

<ул>

• Сравнить журналы сервера с официальными диапазонами IP-адресов Google
• Реализовать проверку обратного поиска DNS
• Используйте приведенные выше инструменты, чтобы установить базовое допустимое поведение робота Google

Мониторинг ответов сервера

Сплитт также подчеркнул важность мониторинга ответов сервера на запросы сканирования, в частности:

<ул>

• Ошибки серии 500
• Ошибки выборки
• Тайм-ауты

<ли>Проблемы с DNS

Эти проблемы могут существенно повлиять на эффективность сканирования и видимость поиска для крупных веб-сайтов, на которых размещены миллионы страниц.

Сплитт говорит:

“Обратите внимание на ответы, которые ваш сервер дал роботу Googlebot, особенно на большое количество ответов (500), ошибки выборки, тайм-ауты, проблемы с DNS и другие вещи.&amp;amp;amp;amp; ;rdquo;

Он отметил, что, хотя некоторые ошибки носят временный характер, постоянные проблемы «возможно, требуют дальнейшего изучения».

Сплитт предложил использовать анализ журналов сервера для более точной диагностики, хотя и признал, что это «непростая задача».

Однако он подчеркнул его ценность, отметив, что «просмотр журналов вашего веб-сервера» – это эффективный способ лучше понять, что происходит на вашем сервере. ”

Потенциальное воздействие

<стр>Помимо безопасности, поддельный трафик Googlebot может повлиять на производительность веб-сайта и усилия по поисковой оптимизации. <стр>Сплитт подчеркнул, что доступность веб-сайта в браузере не гарантирует доступ Googlebot, сославшись на различные потенциальные препятствия, в том числе:

• Ограничения Robots.txt
• Конфигурации брандмауэра
• Системы защиты от ботов
• Проблемы сетевой маршрутизации

Взгляд вперед

<стр>Поддельный трафик Googlebot может раздражать, но Сплитт говорит, что не стоит слишком беспокоиться о редких случаях.

Предположим, что поддельная активность сканера становится проблемой или потребляет слишком много ресурсов сервера. В этом случае вы можете предпринять такие шаги, как ограничение частоты запросов, блокировка определенных IP-адресов или использование более эффективных методов обнаружения ботов.

<стр>Более подробную информацию по этому вопросу смотрите в полном видео ниже: <стр>