<стр>Мартин Сплитт из Google рассказал, как оптимизаторы и владельцы сайтов могут бороться с вредоносными ботами и повысить производительность сайта
Мартин Сплитт из Google ответил на вопрос о вредоносных ботах, влияющих на производительность сайта, и предложил советы, которые должен знать и применять каждый SEO-специалист и владелец сайта.
Вредоносные боты — проблема SEO
Многие оптимизаторы, которые проводят аудит сайтов, обычно упускают из виду безопасность и трафик ботов в рамках своих проверок, потому что интернет-маркетологи не понимают, что события безопасности влияют на производительность сайта и могут объяснить, почему сайт не работает. неадекватно ползал. Улучшение основных веб-жизненных показателей никак не повлияет на производительность сайта, если плохая защита безопасности приводит к снижению производительности сайта.
Каждый веб-сайт подвергается атаке, и последствия чрезмерного сканирования могут вызвать ошибку “ошибка сервера 500” код ответа, сигнализирующий о невозможности обслуживания веб-страниц и препятствующий возможности Google сканировать веб-страницы.
Как защититься от атак ботов
Человек, задавший вопрос, хотел получить совет от Google о том, как бороться с волнами парсеров-ботов, влияющих на производительность их серверов.
Это заданный вопрос:
<блоковая цитата><п>“На нашем веб-сайте происходят серьезные сбои из-за целенаправленного сканирования с помощью автоматизированного программного обеспечения, что приводит к проблемам с производительностью, увеличению нагрузки на сервер и потенциальным проблемам с безопасностью данных. Несмотря на блокировку IP и другие превентивные меры, проблема сохраняется. Что мы можем сделать?”
Мартин Сплитт из Google предложил определить сервис, который служит источником атак, и уведомить их о неправомерном использовании их сервисов. Он также рекомендовал возможности брандмауэра CDN (сети доставки контента).
<п><эм>Мартин ответил:
“Это похоже на распределенную проблему отказа в обслуживании, если сканирование настолько агрессивно, что приводит к снижению производительности.
Вы можете попробовать определить владельца сети, откуда поступает трафик, поблагодарите “их хостера” и отправить уведомление о нарушении. Обычно для этого можно использовать информацию WHOIS.
С другой стороны, CDN часто имеют функции для обнаружения трафика ботов и его блокировки, и по определению они забирают трафик с вашего сервера и распределяют его правильно, так что это победа. Большинство CDN распознают законных ботов поисковых систем и не блокируют их, но если это для вас серьезная проблема, подумайте об этом, прежде чем начинать их использовать.”
<х2>Помогут ли советы Google?
Определение облачного провайдера или серверного центра обработки данных, на котором размещены вредоносные боты, является хорошим советом. Но есть много сценариев, в которых это не сработает.
Три причины, почему обращение к поставщикам ресурсов не поможет
<х3>1. Многие боты скрыты
<п>Боты часто используют VPN и приложения с открытым исходным кодом “Tor” сети, которые скрывают источник ботов, предотвращая все попытки идентифицировать облачные службы или веб-хост, предоставляющие инфраструктуру для ботов. Хакеры также прячутся за скомпрометированными домашними и рабочими компьютерами, называемыми ботнетами, для проведения своих атак. Их невозможно идентифицировать.
<х3>2. Боты меняют IP-адреса
Некоторые боты реагируют на блокировку IP, мгновенно переключаясь на другую сеть, чтобы немедленно возобновить атаку. Атака может исходить с немецкого сервера, а в случае блокировки переключится на сетевого провайдера в Азии.
<х3>3. Неэффективное использование времени <п>Связываться с сетевыми провайдерами по поводу злоупотреблений со стороны пользователей бесполезно, если источник трафика скрыт или из сотен источников. Многие владельцы сайтов и оптимизаторы могут быть удивлены, узнав, насколько интенсивны атаки на их сайты. Даже принятие мер против небольшой группы нарушителей — это неэффективное использование времени, поскольку существуют буквально миллионы других ботов, которые заменят тех, которые были заблокированы облачным провайдером.
<стр>А как насчет ботнетов, состоящих из тысяч взломанных компьютеров по всему миру? Думаю, у вас есть время уведомить всех этих интернет-провайдеров?
Это три причины, по которым уведомление поставщиков инфраструктуры не является эффективным подходом к остановке ботов, влияющих на производительность сайта. На самом деле, это бесполезное и неэффективное использование времени.
Используйте WAF для блокировки ботов
<п>Использование брандмауэра веб-приложений (WAF) — хорошая идея, и именно эту функцию предлагает Мартин Сплитт, когда упоминал использование CDN (сети доставки контента). CDN, такой как Cloudflare, отправляет браузерам и сканерам запрошенную веб-страницу с ближайшего к ним сервера, повышая производительность сайта и сокращая ресурсы сервера для владельца сайта.
<п>CDN также имеет WAF (брандмауэр веб-приложений), который автоматически блокирует вредоносных ботов. Предложение Мартина использовать CDN определенно является хорошим вариантом, особенно потому, что оно дает дополнительное преимущество в виде повышения производительности сайта.
Вариант, о котором Мартин не упомянул, — это использовать плагин WordPress WAF, например Wordfence. В Wordfence есть WAF, который автоматически отключает ботов в зависимости от их поведения. Например, если бот запрашивает нелепое количество страниц, он автоматически создаст временную блокировку IP. Если бот перейдет на другой IP-адрес, он определит поведение сканирования и снова заблокирует его.
Другое решение, которое следует рассмотреть, — это платформа SaaS, такая как Sucuri, которая предлагает WAF и CDN для повышения производительности. И Wordfence, и Sucuri являются надежными поставщиками безопасности WordPress, и у них есть ограниченные, но эффективные бесплатные версии.
Слушайте вопросы и ответы на отметке 6:36 подкаста Google SEO Office Hours:
