Google обновил документацию по роботу Googlebot, чтобы уточнить ограничения на размер файлов, отделив ограничения по умолчанию, применимые ко всем сканерам, от подробностей, касающихся робота Googlebot.

Google обновил документацию по роботу Googlebot, чтобы уточнить информацию об ограничениях размера файла.

Изменение предполагает перемещение информации об ограничениях размера файла по умолчанию со страницы робота Googlebot в более широкую документацию для сканера Google. Google также обновил страницу робота Googlebot, чтобы более подробно рассказать о собственных ограничениях робота Googlebot.

<ч2>Что нового

В журнале изменений документации Google обновление описано как пояснение, состоящее из двух частей.

<п>Ограничения на размер файла по умолчанию, которые раньше существовали на странице робота Googlebot, теперь отображаются в документации сканера. Google заявил, что исходное местоположение было не самым логичным местом, поскольку ограничения распространяются на всех сканеров и сборщиков Google, а не только на Googlebot.

Поскольку настройки по умолчанию теперь указаны в документации сканера, Google обновил страницу робота Googlebot, чтобы более точно описать ограничения размера файла, установленные роботом Googlebot.

В документах по инфраструктуре сканирования указано значение по умолчанию 15 МБ для сканеров и сборщиков Google, а на странице робота Google теперь указано 2 МБ для поддерживаемых типов файлов и 64 МБ для PDF-файлов при сканировании для поиска Google.

В обзоре сканера описываются ограничения по умолчанию для инфраструктуры сканирования Google, а на странице робота Googleописаны ограничения, специфичные для поиска Googlebot. Каждый ресурс, на который есть ссылка в HTML, например CSS и JavaScript, извлекается отдельно.

Почему это важно

Это соответствует схеме, которую Google использует с конца 2025 года. В ноябре Google перенес свою основную документацию по сканированию на отдельный сайт, отделив ее от Центра поиска. Причина заключалась в том, что инфраструктура сканирования Google обслуживает продукты, выходящие за рамки поиска, включая Покупки, Новости, Gemini и AdSense.

<п>В декабре последовала дополнительная документация, включая руководство по фасетной навигации и оптимизации бюджета сканирования.

Последнее обновление продолжает эту реорганизацию. Ограничение размера файла в 15 МБ было впервые задокументировано в 2022 году, когда Google добавил его на страницу справки Googlebot. Мюллер тогда подтвердил, что этот лимит не нов. Оно действовало уже много лет. Google только что записал это в протокол.

При управлении бюджетом сканирования или устранении неполадок с индексацией страниц с большим количеством контента в документах Google теперь ограничения описываются по-разному в зависимости от того, куда вы смотрите.

В обзоре инфраструктуры сканирования указано 15 МБ в качестве значения по умолчанию для всех сканеров и сборщиков. На странице робота Googlebot указано 2 МБ для HTML и поддерживаемых текстовых файлов и 64 МБ для PDF-файлов. Журнал изменений Google не объясняет, как эти цифры соотносятся друг с другом.

Ограничения по умолчанию теперь указаны в обзорной документации сканера, а ограничения, специфичные для робота Googlebot, находятся на странице робота Googlebot.

<ч2>Взгляд в будущее

Реорганизация документации Google предполагает, что в ближайшие месяцы на сайте инфраструктуры сканирования, скорее всего, появятся новые обновления. Отделив настройки по умолчанию для всего сканера от документации по конкретному продукту, Google может легче документировать новые сканеры и сборщики по мере их появления.