Google тестирует Web Bot Auth, экспериментальный протокол для проверки некоторых запросов агентов ИИ с помощью криптографических подписей наряду с существующими проверками.

<п>Google опубликовал документацию, объясняющую тестирование Web Bot Auth, экспериментального протокола IETF, который может помочь веб-сайтам криптографически проверять некоторые автоматические запросы от ботов и агентов искусственного интеллекта.

Протокол добавляет еще один уровень проверки, позволяя агентам подписывать HTTP-запросы криптографическими ключами. Затем веб-сайты могут сверить эти подписи с опубликованными открытыми ключами, чтобы подтвердить, что запрос поступил от того, кем он себя называет.

<ч2>Что нового

Аутентификация веб-бота использует подписи сообщений HTTP (RFC 9421), чтобы позволить автоматическим клиентам подписывать исходящие запросы. Бот хранит закрытый ключ, публикует свой открытый ключ по известному URL-адресу и подписывает каждый запрос. Веб-сайт-получатель сверяет подпись с открытым ключом для подтверждения личности.

<п>Google сообщает, что часть подписанных запросов агента Google аутентифицируется как https://agent.bot.goog. Подписанные запросы включают HTTP-заголовок Signature-Agent со значением g=”https://agent.bot.goog”, и соответствующая подпись может быть проверена с использованием открытых ключей, опубликованных в .well-known каталоге этого домена.

Согласно документации Google, службы обнаружения ботов, CDN и WAF уже поддерживают этот протокол. Авторами проекта IETF являются Тибо Менье из Cloudflare и Сандор Мейджор из Google. Cloudflare публикует эталонную реализацию на GitHub.

<п>Рабочая группа IETF по аутентификации веб-ботов была создана в начале 2026 года с указанием основных этапов разработки спецификаций отслеживания стандартов и документа о передовой текущей практике.

Чего Google еще не делает

Не все пользовательские агенты Google участвуют. В документации говорится, что Google проводит тестирование с «некоторыми агентами искусственного интеллекта, размещенными в инфраструктуре Google». но не называет, какие из них находятся за пределами средства выборки, запускаемого пользователем агентом Google.

Даже для участвующих агентов не каждый запрос подписывается. В документации рекомендуется, чтобы сайты продолжали использовать IP-адреса, обратный DNS и строки пользовательского агента в качестве основного метода проверки, в то время как подписанный трафик внедряется постепенно.

Интернет-проект может измениться по мере разработки рабочей группой стандарта.

Почему это важно

Выдача себя за бота была постоянной проблемой. Скребки и злоумышленники могут подделывать строки пользовательского агента, чтобы замаскировать свой трафик под Googlebot или других законных сканеров, из-за чего владельцам сайтов становится сложнее отличить настоящий трафик ботов от поддельного.

Мы рассмотрели эту проблему, когда Мартин Сплитт из Google предупредил, что «не все, кто утверждает, что являются роботами Google, на самом деле являются роботами Google». Доступными методами проверки в то время были обратный поиск DNS и проверка диапазона IP-адресов. Аутентификация веб-бота добавит уровень, который невозможно подделать без секретного ключа агента.

Для сайтов, уже использующих CDN или WAF, поддерживающих этот протокол, проверка может происходить автоматически. Для всех остальных экспериментальный статус означает, что нет необходимости действовать срочно. В документации рекомендуется рассматривать существующую проверку как функцию по умолчанию, а аутентификацию веб-бота как дополнительную.

<ч2>Взгляд в будущее

Аутентификация веб-бота все еще находится на стадии стандартизации, а реализация Google остается экспериментальной.

На данный момент практические изменения очевидны. Веб-сайты могут начать видеть подписанные запросы из некоторого трафика Google-Agent, в то время как существующие методы проверки остаются по умолчанию.

Следующий вопрос заключается в том, принимает ли больше агентов ИИ подписанные запросы и делают ли хостинг-провайдеры автоматическую проверку для веб-сайтов, которые не хотят управлять ключами.