<стр>Google блокирует сбор результатов поиска, что приводит к глобальным сбоям в работе сервисов отслеживания рейтинга и ключевых слов

<стр>Google приняла жесткие меры против веб-скрейперов, собирающих данные из результатов поиска, что привело к глобальным сбоям во многих популярных инструментах отслеживания рейтинга, таких как SEMRush, которые зависят от предоставления свежих данных со страниц результатов поиска. <стр>Что произойдет, если SERP Google полностью заблокирован? Определенный объем данных, предоставляемых службами отслеживания, уже давно экстраполируется алгоритмами из различных источников данных. Вполне возможно, что одним из способов обойти текущую блокировку является экстраполяция данных из других источников.

Заблокированные SEO-инструменты

<стр>Действия Google по-прежнему оказывают существенное влияние на актуальность данных, которые могут предоставить инструменты SEO. Во многих SEO-инструментах наблюдаются перебои с данными, которые обычно можно получить путем анализа страниц результатов поиска Google (SERP).

“Определенно влияет и на мои инструменты – поскольку мы используем стороннего поставщика данных, а ВСЕ основные поставщики были заблокированы вчера. Многие до сих пор”

<блокцитата><стр>“Похоже, со вчерашнего дня они ввели новую систему защиты от парсинга в SERP, которая стала более строгой. Они становятся очень жесткими в плане соскребания. …Как собака садовника, я не продам вам данные и не позволю вам их получить.”

SEMRush, вероятно, является наиболее используемым инструментом, данные которого не обновлялись. Популярный инструмент SEO, SE Ranking, — еще один сервис, который сталкивается с потерей свежих данных.

Полное сообщение на скриншоте:

<блокцитата><стр>«Отслеживание местоположения снова доступно». Отслеживание функций SERP по-прежнему недоступно из-за технических проблем. Наша команда уже работает над решением проблемы и предоставит вам данные как можно скорее.”

Google запрещает парсинг SERP

<стр>Правила Google давно запрещают автоматическую проверку рейтинга в результатах поиска, но, по-видимому, Google также разрешил многим компаниям собирать свои результаты поиска и взимать плату за доступ к данным рейтинга в целях отслеживания ключевых слов и рейтингов.< /стр> <стр>Согласно рекомендациям Google: <блокцитата><стр>«Машинно-генерируемый трафик» (также называемый автоматизированным трафиком) относится к практике отправки автоматизированных запросов в Google. Сюда входит сбор результатов для проверки рейтинга или другие виды автоматизированного доступа к поиску Google, осуществляемые без явного разрешения. Трафик, генерируемый машинами, потребляет ресурсы и мешает нам лучше обслуживать пользователей. Подобные действия нарушают нашу политику в отношении спама и Условия обслуживания Google. ”

Блокировка скребков — сложная задача

<стр>Блокировка парсеров требует больших ресурсов, особенно потому, что они могут реагировать на блокировки, изменяя свой IP-адрес и пользовательский агент, чтобы обойти любые блокировки. Другой способ блокировать парсеры — это нацеливание на определенное поведение, например, на количество страниц, запрашиваемых пользователем. Чрезмерное количество запросов страниц может привести к блокировке. Проблема такого подхода в том, что отслеживание всех заблокированных IP-адресов, количество которых может быстро исчисляться миллионами, может потребовать больших ресурсов.

Отчеты в социальных сетях

<стр>В закрытой группе SEO Signals Lab на Facebook было объявлено, что Google принимает жесткие меры против веб-скрейперов. Один из участников прокомментировал, что инструмент Scrape Owl им не подходит, а другие отметили, что SEMRush& rsquo; данные не были обновлены.

<стр>В другом сообщении, на этот раз на LinkedIn, было отмечено несколько инструментов, которые «не обновляли свой контент», но также отмечено, что блокировка не затронула всех поставщиков данных, и отмечено, что Sistrix и MonitorRank по-прежнему работают. Кто-то из компании HaloScan сообщил, что они внесли коррективы, чтобы возобновить сбор данных из Google, и восстановили работу, а кто-то другой сообщил, что другой инструмент под названием MyRankingMetrics все еще предоставляет данные.

<стр>Так что, что бы ни делал Google, это в настоящее время не затрагивает все парсеры. Возможно, Google отслеживает определенные типы поведения при парсинге, извлекая уроки из ответов и улучшая свои возможности по блокировке. В ближайшие недели может стать ясно, что Google улучшает свои возможности по блокировке парсеров или нацеливается только на самые крупные из них.

<стр>В другом посте на LinkedIn были представлены соображения о влиянии, в том числе предположения о том, как блокировка может в конечном итоге привести к увеличению ресурсов и сборов, взимаемых с конечных пользователей инструментов SaaS SEO.

Наталия Витчик (профиль LinkedIn) предложила следующие идеи через LinkedIn:

“Новинка: Google начинает ужесточать меры по борьбе со взломом, вводя более строгие меры защиты, такие как блокировка IP-адресов и CAPTCHA. Под удар попадают популярные инструменты SEO, такие как Semrush и SE Ranking.

<стр>Этот шаг Google делает извлечение данных более сложным и затратным. В результате пользователи могут столкнуться с более высокой абонентской платой.

<стр>Кто-нибудь из вас видит проблемы с данными в ваших SEO-инструментах? <стр>РЕДАКТИРОВАНИЕ: Ahrefs утверждает, что никаких сбоев не было, поэтому я удалил их имя из первого абзаца, однако некоторые пользователи сообщили о задержках данных. Систрикс, похоже, не пострадали. ”

Райан Джонс написал в Твиттере:

“Кажется, вчера вечером Google сделал обновление, которое блокирует большинство скраперов и многие API.

Google, просто дай нам платный API для результатов поиска. вместо этого мы заплатим вам. ”

Никаких объявлений от Google

<стр>До сих пор от Google не было никаких заявлений, но, возможно, разговоры в Интернете заставят кого-то в Google рассмотреть возможность сделать заявление.