Google тестирует усовершенствованный криптографический протокол для проверки трафика ботов, который может облегчить изоляцию нежелательных сканеров.
Google тестирует Web Bot Auth, экспериментальный протокол, разработанный, чтобы помочь веб-сайтам проверять, что автоматический трафик действительно исходит от бота или службы, которую он якобы представляет. Новый протокол может дать владельцам сайтов надежный способ отделить законный автоматический трафик от ботов, которые скрывают или искажают свою личность.
Была опубликована новая страница поддержки разработчиков, содержащая информацию о том, как проверять запросы с помощью протокола аутентификации веб-бота, который в настоящее время находится на экспериментальной стадии.
На чем основана аутентификация веб-бота Google
<п>Новый протокол технически называется «Каталог подписей сообщений HTTP». Это предложенный технический стандарт, предназначенный для автоматизации доверия между веб-сервисами. Это помогает веб-сайтам распознавать проверенные автоматизированные сервисы, не требуя от каждой стороны предварительного обмена ключами безопасности вручную.
<п>Основная идея аналогична предоставлению проверенным автоматизированным службам стандартизированного способа предоставления учетных данных. Вместо того, чтобы полагаться только на имена, строки пользовательского агента или частные настройки между компаниями, протокол дает веб-сайтам повторяемый способ проверить, можно ли проверить автоматический запрос. Это важно, потому что многие боты могут заявлять, что они являются теми, кем они не являются. Проверка веб-бота не решает, хороший бот или плохой, но она может дать владельцам сайтов более сильный сигнал о том, действительно ли бот является тем сервисом, за который он себя выдает.
Надежный способ идентифицировать ботов
Криптографическая часть важна, поскольку она затрудняет подделку личности. Сегодня мошеннический бот может претендовать на звание законного сканера, скопировав имя или строку пользовательского агента. Веб-бот Auth предназначен для того, чтобы выйти за рамки такого рода самоидентификации, предоставляя веб-сайтам возможность проверять, соответствует ли автоматический запрос криптографическим учетным данным службы.
<п>Согласно этому протоколу боту потребуется нечто большее, чем просто метка, указывающая, кто он. Необходимо будет доказать эту личность таким образом, чтобы веб-сайт мог ее подтвердить. Это может дать владельцам сайтов безопасную основу для разрешения проверенных автоматических сервисов и блокировки ботов, которые не могут доказать, кто они. Протокол не решает автоматически, каких ботов следует разрешить или заблокировать, но он может дать веб-сайтам более надежный сигнал для принятия такого решения.
Криптографическая проверка — это то, что делает аутентификацию веб-бота лучше существующих методов идентификации ботов. Вместо того, чтобы полагаться на сигналы, которые могут быть искажены, он дает веб-сайтам возможность проверять автоматические запросы. Это означает, что распознавание основано не столько на том, что бот говорит о себе, сколько на том, может ли его личность быть подтверждена криптографическими учетными данными.
Предостережение: это экспериментальная фаза
Предложенный протокол позволит отличить мошеннических ботов, выдающих себя за доверенных сканеров, от настоящих ботов из доверенных сервисов. Этот протокол похож на белый список разрешенного, что может облегчить изоляцию ненадежных сканеров.
<п>Однако, поскольку это экспериментальный этап, “белый список” в настоящее время применяется только к определенной части трафика, например к агенту Google. Google “пока не подписывает каждый запрос” поэтому отсутствие подписи не означает автоматически, что бот является мошенником. Владельцам сайтов рекомендуется продолжать использовать IP-адреса и реверсировать DNS вместе с протоколом, чтобы избежать случайной блокировки законного трафика, который еще не перенесся.
Что он делает
Новый стандарт заменяет ручную настройку между веб-сайтами и ботами, сканерами и другими автоматизированными службами трехэтапным процессом обнаружения:
<ул>
Ключи хранятся в общем формате JSON Web Key Set (JWKS), который могут прочитать все серверы.
Он определяет конкретный “дом” на веб-сайте (/.well-known/), где эти ключи всегда хранятся.
Он добавляет к HTTP-запросам новый заголовок Signature Agent, который действует как цифровая визитная карточка, указывая получателю непосредственно на каталог ключей отправителя.
Преимущества автоматизированных сервисов и веб-сайтов
Web Bot Auth может упростить масштабирование проверки ботов за счет уменьшения необходимости ручной настройки между каждым веб-сайтом и автоматизированной службой. Это также дает автоматизированным службам более последовательный способ оставаться узнаваемыми при изменении их данных безопасности, что может помочь избежать сбоев проверки с течением времени.
Аутентификация веб-бота является экспериментальной
Google подчеркивает, что пользователи должны продолжать использовать существующие стандарты, такие как проверка ботов на основе IP-адреса пользовательского агента, подчеркивая, что сам стандарт является предложением, которое может быть изменено.
В новой документации содержится следующее предупреждение:
“Экспериментальный статус означает, что:
Не все пользовательские агенты Google используют аутентификацию веб-бота.
Google пока не подписывает каждый запрос агентов, использующих протокол.
Мы рекомендуем, чтобы в дополнение к аутентификации веб-бота вы продолжали использовать IP-адреса, обратный DNS и строки пользовательского агента, поскольку мы постепенно развертываем подписанный трафик.
Если вы разработчик или системный администратор и хотите внести в белый список наших экспериментальных агентов ИИ, вы можете реализовать проверку через протокол аутентификации веб-бота:
<ул>
Использование продукта или услуги, поддерживающей аутентификацию веб-бота Проверка запросов самостоятельно”
Тем не менее, стандарт нацелен на упрощение идентификации ботов и контроль за их трафиком за счет использования криптографического протокола, который мошеннический агент не может подделать, предоставить информацию о том, как боты взаимодействуют с вашим трафиком, и разработать лучший способ контроля над ситуацией, которая в настоящее время вышла из-под контроля при сканировании ботов.
Google рекомендует пользователям, заинтересованным в протоколе, связаться со своими провайдерами веб-хостинга, чтобы узнать, намерены ли они поддерживать экспериментальный протокол, быть в курсе последних изменений, опубликованных рабочей группой по аутентификации веб-ботов, и отправлять отзывы через официальную форму обратной связи Google для аутентификации веб-ботов.
