< P > Блоки CloudFlare недоумения из -за обманчивого поведения ползания, включая вращающиеся IP -адреса и игнорирование инструкций Robots.txt.
< img Width = "1600" Height = "840" src = "https://www.searchenginejournal.com/wp-content/uploads/2025/cloudflare-delists-perplexity-886.jpg" Class = "Attachment-Full wp-post-image" Alt = "Cloudflare delists and blocks perplexity from crawling websites" fetchPriority = "high" decoding = "async" srcset = "https://www.searchenginejournal.com/wp-content/uploads/2025/cloudflare-delists-perplexity-886.jpg 1600W, https://www.searchenginejournal.com/wp-content/uploads/2025/cloudflare-delists-perplexity-886-480x252.jpg 480w, https://www.searchenginejournal.com/wp-content/uploads/2025/cloudflare-delists-perplexity-886-680x357.jpg 680w, https://www.searchenginejournal.com/wp-content/uploads/2025/cloudflare-den-deplexity-886-384x202.jpg 384w, https://www.searchenginejournal.com/wp-content/uploads/2025/cloudflare-delists-perplexity-886-768x403.jpg 768w, https://www.searchenginejournal.com/wp-content/uploads/2025/cloudflare-delists-perplexity-886-1024x538.jpg 1024w "sits =" (max-width) 100VW, 1600px "/> < p >Cloudflare объявила, что они исключали смущение и amp; S Crawler как проверенный бот и в настоящее время активно блокирует недоумение и все его стелс -боты с ползающих сайтов. Cloudflare действовал в ответ на многочисленные жалобы на недоумение, связанные с нарушениями протоколов robots.txt, и в подвесное расследование показало, что недоумение использовала агрессивную тактику мошенничества, чтобы заставить своих сканеров на участки. > < H2 > Проверенная программа BOTS CloudFlare < P > Cloudflare имеет систему, называемую проверенными ботами, которые белые списки ботов в своей системе, что позволяет им использовать веб -сайты, которые защищены CloudFlare. Проверенные боты должны соответствовать конкретным политикам, искать как подчинение протоколам robots.txt, чтобы сохранить свой привилегированный статус в Cloudflare & S Система. ~ 60 > < p >Было обнаружено, что недоумение нарушает CloudFlare & S Требования, которые боты соблюдают протокол Robots.txt и воздерживаются от использования IP -адресов, которые не объявляются в качестве услуги принадлежности.
< H2 > CloudFlare обвиняет в недоумении в использовании Crawling Stealth < p > Cloudflare наблюдал за различными действиями, указывающими на очень агрессивное ползание, с намерением обойти протокол роботов.
< h3 > Поведение с ползанием стелса: вращающиеся IP -адреса
< P > Блоки Circomvents с недоумением с использованием вращающихся IP -адресов, изменения ASN и уставных браузеров, таких как Chrome.
< p >У недоумения есть список официальных IP -адресов, которые ползут из конкретного ASN (номер автономной системы). IP -адреса диссертации помогает определить законных сканеров от недоумения.
< P > ASN является частью системы интернет -сети, которая предоставляет уникальный идентификационный номер для группы IP -адресов. Например, пользователи, которые получают доступ к Интернету через интернет -провайдера, делают это с определенным IP -адресом, который принадлежит ASN, назначенному этому провайдеру.
< p > Когда заблокировано, недоумение попыталась уклониться от ограничения, переключившись на различные IP -адреса, которые не указаны в качестве официального недоумения IPS, включая совершенно отличаются от другого ASN. ~/P > < h3 > Стюжное поведение ползания: поддельный пользовательский агент
< p > Другое подлое поведение, которое CloudFlare определил, что эта недоумение изменило его пользовательский агент, чтобы обойти попытки заблокировать его Crawler через robots.txt.
< p >< em >Например, недоумение & S Боты идентифицированы со следующими пользовательскими агентами: ~/p > < ul > < li > Бот с недоумением
< li > Пользователь недоумения
< P > Cloudflare наблюдал, что недоумение отвечала на блоки пользователя, используя другого агента, который позирует как человека, ползающего с Chrome 124 в системе Mac. Что & S Практика под названием Spoofing, где мошенничество губень идентифицирует себя как законного браузера.
~ 60 >~ 60 > Согласно CloudFlare, недоумение использовало следующий пользовательский агент Stealth:
< Цитата блока > ~ p > & ldquo; Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebkit/537.36 (khtml, как гекко) Chrome/124.0.0.0. Safari/537.36 & rdquo;
< H2 > CloudFlare Delists Nealxity < p > ~ em > Cloudflare объявил, что недоумение исключено как проверенный бот и что они заблокировали:
< blockquote > ~ p > & ldquo; Интернет, как мы его знали в течение последних трех десятилетий, быстро меняется, но одна вещь остается постоянной: он основан на доверии. Существуют четкие предпочтения, что сканеры должны быть прозрачными, служить четкому чистовидности, производительности, и, должны импортировать, следовать директивам и предпочтениям веб -сайтов. На основе недоумения & rsquo; Наблюдаемое поведение, которое несовместимо с этими предпочтениями, мы отказались от их списка в качестве проверенного бота и добавили эвристику к нашим управляемым правилам, которые блокируют этот скрытый ползание. & Amp; rdquo;
< h2 > вынос
< ul > < li > > нарушение Cloudflare & rsquo; S Проверенная политика ботов ~ 60 >Недоумение нарушило CloudFlare & S Проверенная политика ботов, которая дает ползание доступа к надежным ботам, которые следуют правилам здравого смысла, такие как честь протокола robots.txt. > 62 ~ < li > ~ 60 > Стушение использовалась стоплевая тактика < br ~ 62 Смущение использовала не выделимые IP -адреса от разных ASN и поддельных пользовательских агентов для содержимого полза после того, как умоляли, заблокированные от его доступа.
< li >~ 60 > Ссылка пользователя < br > Смущение замаскировало его как человека, который позирует как Chrome в операционной системе Mac, пытаясь обходить фильтры, которые блокируют известные сканеры.
< li > ~ Strong > Cloudflare & rsquo; S -ответ < Br > Cloudflare определил недоумение в качестве проверенного бота и внедрило новые правила блокировки, чтобы предотвратить ползание.
< li >~ 60 > SEO последствия ~ 60 > Пользователи Cloudflare, которые хотят смущения, чтобы ползти на своих сайтах, могут пожелать проверить, блокирует ли Cloudflare сбивки сбивающих с толку, и, если это так, позволить ползание через свою панель панели CloudFlare.
< P > CloudFlare CLISTISTED НЕОБХОДИМОСТЬ СМОТРИТЕЛЬНОСТЬ как проверенный, предложенный после обнаружения, что он неоднократно нарушал проверенные политики ботов, не подчиняющиеся роботам.txt. Чтобы уклониться от обнаружения, недоумения, повернуть IPS, изменил ASN и подделка его пользователя появляется в качестве браузера человека. Cloudflare & rsquo; Решение о блокировании бота является сильной реакцией на агрессивное поведение бота со стороны недоумения.
