Гэри Иллис из Google продолжает предупреждать специалистов по поисковой оптимизации и владельцев веб-сайтов о проблемах со сканированием параметров URL.

• Гэри Иллис предупреждает о проблемах с параметрами URL-адресов в LinkedIn.
• Он советует использовать robots.txt для управления параметрами URL.
• Это важно, поскольку влияет на эффективность сканирования и индексации сайта.

Гэри Иллис из Google недавно отметил повторяющуюся проблему с SEO в LinkedIn, повторяя опасения, которые он ранее высказывал в подкасте Google.

<стр>Проблема? Параметры URL вызывают трудности у поисковых систем при сканировании веб-сайтов. <п>Особенно актуальна эта проблема для крупных сайтов и интернет-магазинов. Когда к URL-адресу добавляются разные параметры, это может привести к появлению множества уникальных веб-адресов, которые ведут к одному и тому же контенту.

Это может мешать поисковым системам, снижая эффективность их сканирования и индексации сайтов.

Загадка параметров URL

И в подкасте, и в посте на LinkedIn Иллиес объясняет, что URL-адреса могут содержать бесконечное количество параметров, каждый из которых создает отдельный URL-адрес, даже если все они указывают на один и тот же контент.

<п>Он пишет: <блоковая цитата><п>“Интересная особенность URL-адресов заключается в том, что вы можете добавлять бесконечное (я называю BS) количество параметров URL-адресов к пути URL-адреса, тем самым, по сути, формируя новые ресурсы. Новые URL-адреса даже не обязательно должны сопоставляться с другим контентом на сервере: каждый новый URL-адрес может просто обслуживать тот же контент, что и URL-адрес без параметров, но все они являются разными URL-адресами. Хорошим примером является параметр URL-адреса очистки кеша в ссылках JavaScript: он не меняет содержимое, но принудительно обновляет кеши.”

Он привел пример того, как простой URL-адрес типа “/path/file” можно расширить до “/path/file?param1=a” и “/path/file?param1=a&param2=b“, все они потенциально предоставляют идентичный контент.< /п>

“Каждый [является] отдельным URL-адресом, все с одинаковым содержанием” — отметил Иллиес.

Случайное расширение URL-адреса & Его последствия

Поисковые системы иногда могут найти и попытаться просканировать несуществующие страницы вашего сайта, которые Иллес называет «поддельными URL-адресами».

Они могут появляться из-за таких вещей, как плохо закодированные относительные ссылки. То, что начинается как сайт обычного размера с примерно 1000 страницами, может разрастаться до миллиона фантомных URL-адресов.

<п>Этот взрыв фейковых страниц может вызвать серьезные проблемы. Сканеры поисковых систем могут сильно ударить по вашим серверам, пытаясь просканировать все эти несуществующие страницы.

Это может привести к перегрузке ресурсов вашего сервера и потенциально привести к сбою вашего сайта. Кроме того, поисковая система тратит бюджет сканирования на бесполезные страницы, а не на ваш контент.

В конечном итоге ваши страницы могут неправильно сканироваться и индексироваться, что может ухудшить ваш рейтинг в поиске.

<стр>Состояния Илие: <блоковая цитата><п>“Иногда вы можете случайно создать эти новые поддельные URL-адреса, в результате чего ваше пространство URL-адресов увеличится с 1000 URL-адресов до невероятного 1 миллиона захватывающих сканеров, которые, в свою очередь, неожиданно нагружают ваши серверы, плавя трубы и свистки направо и налево. Плохие относительные ссылки являются одной из относительно частых причин. Но в этом случае robotstxt — ваш друг.”

<ч2>Сайты электронной коммерции пострадали больше всего

В сообщении LinkedIn не упоминались конкретно интернет-магазины, но обсуждение в подкасте прояснило, что эта проблема имеет большое значение для платформ электронной коммерции.

Эти веб-сайты обычно используют параметры URL для отслеживания, фильтрации и сортировки товаров.

В результате вы можете увидеть несколько разных URL-адресов, указывающих на одну и ту же страницу продукта, причем каждый вариант URL-адреса представляет выбор цвета, варианты размера или откуда пришел покупатель.

Устранение проблемы

Иллес постоянно рекомендует использовать robots.txt для решения этой проблемы.

В подкасте Иллиес выделил возможные исправления, такие как:

<ул>

• Создание систем обнаружения повторяющихся URL-адресов
• Лучший способ для владельцев сайтов сообщить поисковым системам о структуре их URL
• Более разумное использование файла robots.txt для управления роботами поисковых систем

Устаревший инструмент параметров URL-адресов

<п>В обсуждении подкаста Иллиес коснулся прошлых попыток Google решить эту проблему, в том числе устаревшего инструмента параметров URL-адресов в Search Console.

Этот инструмент позволял веб-сайтам указывать, какие параметры важны, а какие можно игнорировать.

Когда в LinkedIn его спросили о возможном возвращении этого инструмента, Иллиес скептически отнесся к его практической эффективности.

<п>Он заявил: «Теоретически да». на практике нет», ” объясняя, что этот инструмент страдает от тех же проблем, что и robots.txt, а именно: «люди не могут изо всех сил понять, как управлять своими собственными параметрами».

<ч2>Последствия для SEO и веб-разработки <стр>Это продолжающееся обсуждение Google имеет несколько последствий для SEO и веб-разработки: <ол>

• Бюджет сканирования: Для крупных сайтов управление параметрами URL может помочь сэкономить бюджет сканирования, обеспечивая сканирование и индексацию важных страниц.< /ли>
• Архитектура сайта: разработчикам, возможно, придется пересмотреть структуру URL-адресов, особенно для крупных сайтов электронной коммерции с многочисленными вариациями продуктов.< /ли>
• Фасетная навигация: Сайты электронной коммерции, использующие фасетную навигацию, должны учитывать, как это влияет на структуру URL-адресов и возможность сканирования.
• Канонические теги: Канонические теги помогают Google понять, какую версию URL следует считать основной.

Почему это важно

Google обсуждает проблемы с параметрами URL по нескольким каналам, что указывает на искреннюю заботу о качестве поиска.

<стр>Для отраслевых экспертов быть в курсе этих технических аспектов важно для обеспечения видимости в результатах поиска.

Пока Google работает над решением, рекомендуется активное управление URL-адресами и эффективное руководство для сканеров.