Принятие Google криптографической идентификации ботов сигнализирует о будущем, в котором различение реальных агентов и вредоносных автоматов станет критически важным.
<п>20 марта 2026 года Google незаметно добавил новую запись в свой официальный список веб-сборщиков. Не краулер. Не обучающий бот. Агенту.
Это не Googlebot. Робот Googlebot постоянно сканирует Интернет, индексируя страницы для поиска. Агент Google появляется только тогда, когда об этом просит человек. Это различие меняет всё в том, как оно работает.
Robots.txt не применяется
Google классифицирует агент Google как средство выборки, запускаемое пользователем. В эту категорию входят такие инструменты, как Google Read Aloud (преобразование текста в речь), NotebookLM (анализ документов) и Feedfetcher (RSS). Все они имеют одно свойство: запрос инициировал человек. Позиция Google заключается в том, что инициируемые пользователем программы выборки “обычно игнорируют правила robots.txt” потому что выборка была запрошена человеком.
Логика: если вы вводите URL-адрес в Chrome, браузер получает страницу независимо от того, что говорит robots.txt. Агент Google работает по тому же принципу. Агент является прокси-сервером пользователя, а не автономным сканером.
Это существенное отклонение от того, как OpenAI и Anthropic обрабатывают аналогичный трафик. ChatGPT-User и Claude-User оба функционируют как инициируемые пользователем сборщики, но они учитывают директивы robots.txt. Если вы заблокируете пользователя ChatGPT в файле robots.txt, ChatGPT не будет получать вашу страницу, когда пользователь попросит ее просмотреть. Google сделал другой звонок.
Владельцы веб-сайтов, которые полагались на robots.txt как на универсальный механизм контроля доступа, теперь столкнулись с проблемой. Если вам необходимо ограничить доступ со стороны агента Google, вам потребуется аутентификация на стороне сервера или средства управления доступом. Те же инструменты, которые вы бы использовали, чтобы заблокировать посетителя-человека.
Криптографическая идентификация: аутентификация веб-бота
Более важное событие скрыто в одной строке документации Google: Google-Agent экспериментирует с протоколом аутентификации веб-бота, используя идентификатор https://agent.bot.goog.
Строки пользовательского агента могут быть подделаны кем угодно. Аутентификация веб-бота невозможна. Google, приняв этот протокол, даже в экспериментальном порядке, сигнализирует о том, куда движется личность агента. Akamai, Cloudflare и Amazon (браузер AgentCore) уже поддерживают его. Google набирает критическую массу.
<п>Это важно, потому что в сети вот-вот возникнет проблема с идентификацией. По мере увеличения трафика агентов веб-сайтам необходимо различать законных агентов ИИ, действующих от имени реальных пользователей, и парсеров, притворяющихся агентами. Проверка IP помогает, но криптографические подписи лучше масштабируются, и их труднее подделать.
Что это значит для вашего сайта
Агент Google создает трехуровневую модель посетителей для Интернета:
<ол>
Каждый уровень имеет разные правила доступа, разные намерения и разные ожидания. Сканер хочет проиндексировать ваш контент. Агент хочет выполнить задачу. Это может быть чтение страницы продукта, сравнение цен, заполнение контактной формы или запись на прием.
<п>Вот что теперь делать:
Следите за своими журналами. Агент Google идентифицирует себя с помощью строки пользовательского агента, содержащей совместимое; Агент Гугла. Google публикует диапазоны IP-адресов для проверки. Начните отслеживать, как часто посещают агенты, какие страницы они посещают и что пытаются сделать.
Проверьте правила CDN и брандмауэра.Если ваши инструменты безопасности агрессивно блокируют трафик, не связанный с браузером, агент Google может быть отклонен до того, как он достигнет вашего сервера. Убедитесь, что опубликованные диапазоны IP-адресов Google разрешены.
Протестируйте свои формы и процессы. Агент Google может отправлять формы и управлять многоэтапными процессами. Если ваши формы оформления заказа, бронирования или контактной информации основаны на шаблонах JavaScript, которые сбивают с толку автоматизированные системы, посетители агентов молча потерпят неудачу. Семантический HTML и четкие метки остаются основой.
Примите тот факт, что robots.txt больше не является полноценным инструментом контроля доступа. Для контента, который действительно необходимо ограничить, используйте аутентификацию. robots.txt был разработан для сканеров. Эпохе агентов нужны другие границы.
Гибридной сети не будет. Это зарегистрировано
Год назад идея о том, что агенты ИИ будут просматривать веб-сайты вместе с людьми, была предсказанием на конференции. Сегодня у него есть строка пользовательского агента, опубликованные диапазоны IP-адресов, протокол криптографической идентификации и запись в официальной документации Google.
Сеть не разделилась на человека и машину. Оно слилось. Каждая публикуемая вами страница теперь обслуживает обе аудитории одновременно, и Google только что позволил точно увидеть, когда появляется нечеловеческая аудитория.
Этот пост был первоначально опубликован на No Hacks.
