< P > Забота издателя по поводу миллионов запросов Googlebot на несуществующие страницы, которые реализовали как сайт теряет видимость поиска.

< img Width = "1600" Height = "840" src = "https://www.searchenginejournal.com/wp-content/uploads/2025/06/golebot-dos-crawling-498.jpg" Class = "Attachment-full wp-post-image" old = " Responds to site that Lost Ranks After Googlebot Ddos Crawl "fetchPriority =" high "decoding =" async "srcset =" https://www.searchenginejournal.com/wp-content/2025/06/golebot-dos crawling-498.jpg 1600w, https://www.searchenginejournal.com/wp-content/uploads/2025/06/golebot-dos crawling-480x252.jpg 480w, https://www.searchenginejournal.com/wp-content/uploads/2025/06/golebot-dos crawling-498-680x357.jpg 680w, https://www.searchenginejournal.com/wp-content/uploads/2025/06/golebot-dos crapling-498-384x202.jpg 384w, https://www.searchenginejournal.com/wp-content/uploads/2025/06/golebot-dos crapling-498-768x403.jpg 768w https://www.searchenginejournal.com/wp-content/uploads/2025/06/golebot-dos crawling-498-1024x538.jpg 1024w "Размеры =" (максимум) 100VW, 1600px "/> < p >Google & rsquo; С. Джон Мюллер ответил на вопрос о сайте, который получил миллионы запросов Googlebot на страницы, которые Don & T существуют, с одним несуществующим URL-адресом, получающим более двух миллионов попаданий, основные запросы на страницу уровня DDOS. Издатель & rsquo; Озабоченность по поводу бюджета Crawl и рейтинга, по -видимому, были реализованы, так как на сайте подсчитано снижение видимости поиска.

< H2 > страницы noindex удалены и преобразованы в 410 ~/h2 > < P > Код ответа на сервер 410 принадлежит семейству 400 кодов ответов, которые указывают на страницу недоступны. Ответ 404 означает, что страница недоступна и не предъявляет заявлений относительно того, что URL вернется в будущем, просто говорит, что страница недоступна.

< p >Код состояния 410 означает, что страница исчезла, и Loyery никогда не вернется. В отличие от кода состояния 404, 410 сигнализирует о браузере или гусенике, что отсутствующий статус ресурса является преднамеренным и что любой оставшийся в ресурсе должен быть удален.

< P > Человек, задающий вопрос, был вопросом по вопросу, который они разместили три на Reddit, где они отметили, что они около 11 миллионов URL -адресов, которые должны быть обнаружены, что они полностью удалили и обслуживают код ответа 410. Через полтора месяца Googlebot продолжал возвращаться в поисках пропущенных страниц. В результате они поделились своей обеспокоенностью по поводу бюджета ползания и последующих последствий для их рейтинга.

< p >Мюллер в то время спереди на страницу поддержки Google.

~ 60 >< Стронг > См.: Google & S Джон Мюллер объясняет, почему Google Crawls несуществующие страницы ~ 60 > < H2 > Потеря рейтинга, так как Google продолжает попадать в сайт на уровнях DDOS < P > Три недели спустя. Все не улучшилось, и они опубликовали последующий вопрос, отмечающий, что они & Ve Receeven за пять миллионов запросов на страницы, которые Don & t существуют. Они опубликовали фактический URL в своем вопросе, но я анонимизировал его, в противном случае это & ​​amp; rsquo; S дословно.

~ 60 >~ 60 > Человек спросил:

< blockquote > ~ p > & Ldquo; Googlebot продолжает агрессивно ползти по одному URL (с струнами запросов), хотя он и amp; S возвращал статус 410 (ушел) уже около двух месяцев.

< p >Всего за последние 30 дней мы & rsquo; Видно, что около 5,4 миллиона запросов от Googlebot. Из них около 2,4 миллиона были прямыми в этом URL: < Br > https://example.net/software/virtual-dj/с ? Строка запроса функции.

< P > We & Rsquo; В течение этого периода наблюдался значительный падение нашей видимости в Google, и я могу & Не помогите, но задаюсь вопросом, есть ли там & s подключение & MDASH; Что -то просто чувствует себя. Затронутая страница: < Br > https://example.net/software/virtuald-dj/?feature=& hellip;

< P > Причина, по которой Google обнаружил все тезисы, в первую очередь, заключается в том, что мы непреднамеренно выявили их в полезной нагрузке JSON, сгенерированной Next.js & MDASH; Они были и amp; rsquo; Фактически остается на сайте.

< p > Мы изменили то, как наш & Ldquo; Несколько функций & rdquo; Работает (используя ? String Query String и что строка запроса в robots.txt)

< p >Было бы проблематично добавить что -то вроде нашим роботам. TXT ?

~ 60 > DISLAING:/Software/Virtual-DJ/? feature =*

< p > Основная цель: остановить этот чрезмерный ползание от наводнения наших бревна и потенциальных непреднамеренных побочных эффектов. & Amp; rdquo;

~/Цитата блока > < p > Google & С. Джон Мюллер подтвердил, что это & ​​amp; rsquo; S Google & rsquo; S Нормальное поведение, чтобы сохранить возврат, чтобы проверить, возвращается ли страница. Это Google & rsquo; Поведение по умолчанию, основанное на опыте, который издатели могут совершать ошибки, и поэтому они будут ориентированы на то, чтобы проверить, что страница была восстановлена. Это предназначено для того, чтобы быть помощником для издателей, которые могут непреднамеренно удалить веб -страницу.

~ 60 >~ 60 > Мюллер ответил:

< Цитата блока >< P >& Ldquo; Google пытается решить страницы, которые когда -то существовали в течение действительно долгого времени, и если у вас их много, вы & rsquo; Ll, вероятно, увидит их больше. Это является & rsquo; T проблема & ndash; Это & rsquo; Страницы, чтобы страницы ушли, даже если это & ​​amp; rsquo; Тонны темы. Тем не менее, неразборка ползания с robots.txt в порядке, если запросы раздражают вас. & Amp;

< H2 > Осторожно: технический SEO впереди < p >Эта следующая часть – то, где SEO становится техническим. Мюллер предупреждает, что предлагаемое решение добавления роботов .txt может случайно сломать рендеринг для страниц, которые арендуют & rsquo; T должен пропустить.

< p > ~ > HE & S в основном советует человеку, задающим вопросы:

< ul > < li > Двойная проверка, что ? Функция = URL-адреса вообще вообще не является в любом коде лидера или PayoAds JSON, которые питают важные страницы.

< li > Используйте Chrome Devtools для моделирования того, что происходит, если URL -адреса заблокированы & MDASH; Чтобы рано, рано.

< li > Консоль поиска монитора для Soft 404, чтобы обнаружить любое непреднамеренное влияние на страницы, которые должны быть проиндексированы.

~ 60 >~ 60 > Джон Мюллер Продолжение:

< blockquote > ~ p > & Ldquo; главное, что я & D Следите за тем, чтобы тезис реальна, все возвращаются 404/410, и не то, что некоторые из них используются чем -то JavaScript на страницах, которые вы хотите индексировать (поскольку вы Mental Json Payoad).

< p >Это & rsquo; S действительно трудно узнать, когда вы & rsquo; повторно разбивая ползание встроенного ресурса (будь то непосредственно встроено на страницу или загружен по требованию) & ndash; Иногда страница, которая ссылается на то, что она прекращает рендеринг и может & rsquo; вообще не будет индексирован.

< P > Если у вас есть страницы с клиентом на стороне клиента, i & rsquo; D Попробуйте выяснить, где упоминались URL -адреса (если вы можете) и заблокируйте URL -адреса в хромированных дьяволах до того, что происходит, когда вы загружаете страницу.

< p > Если вы можете & T выясните, где они были, я & rsquo; D запретите их часть и следите за ошибками Soft-404 в поисковой консоли, чтобы увидеть, заметно ли что-нибудь. ~/P > ~ 60 > Если вы & rsquo; Не используя javaScript клиентского сренда, вы, вероятно, можете использовать этот абзац :-). & Amp; rdquo; > ~ ~/Блок Квота > ~ 60 >< Стронг > См. SO: John Mueller Удивится с ответом на отрицательный вопрос SEO ~/P > < H2 > Разница ниже очевидной причины и фактической причины

< p > Google & rsquo; С. Джон Мюллер прав, чтобы предложить более глубокую диагностику, чтобы исключить ошибки со стороны издателя. Ошибка издателя начала цепочку событий, которая привела к индексации страниц против издателя & rsquo; S желает. Так что это & ​​amp; rsquo; Разумно попросить издателя проверить, существует ли более правдоподобная причина для учета потери видимости поиска. Это классическая ситуация, когда очевидная причина не обязательно является правильной причиной. Там & rsquo; S разница между стеблем. Итак, Мюллер & rsquo; Предложение не отказываться от поиска причины – хороший совет.

< P > Прочитайте оригинальное обсуждение здесь.