<стр>Используйте журналы сервера, строки пользовательского агента и проверку IP-адреса для управления GPT, Claude, Gemini и т. д., одновременно защищая полосу пропускания и поддерживая участие в обнаружении ИИ.

<п>Видимость ИИ играет решающую роль для оптимизаторов, и это начинается с контроля сканеров ИИ. Если сканеры ИИ не могут получить доступ к вашим страницам, вы невидимы для механизмов обнаружения ИИ.

С другой стороны, неконтролируемые ИИ-сканеры могут перегружать серверы чрезмерными запросами, вызывая сбои и непредвиденные счета за хостинг.

Строки пользовательского агента необходимы для контроля того, какие ИИ-сканеры могут получить доступ к вашему веб-сайту, но официальная документация часто устарела, неполна или вообще отсутствует. Итак, мы составили проверенный список ИИ-сканеров на основе журналов наших реальных серверов в качестве полезного справочного материала.

Каждый пользовательский агент проверяется на соответствие официальным спискам IP-адресов, если они доступны, что обеспечивает точность. Мы будем поддерживать и обновлять этот список, чтобы отслеживать появление новых сканеров и вносить изменения в существующие.

Полный список проверенных ИИ-сканеров (декабрь 2025 г.)

<тело>

<тр>

Все приведенные выше строки пользовательского агента были проверены по журналам сервера журнала поисковой системы.

Популярные краулеры AI-агентов с неопознаваемым пользовательским агентом

Мы обнаружили, что следующие лица не назвали себя:

Невозможно отследить доступ этого сканера к веб-страницам, кроме как путем определения явного IP-адреса.

Мы создали страницу-ловушку (например, /specified-page-for-you-com/) и использовали чат на странице, чтобы предложить you.com посетить ее, что позволило нам найти соответствующую запись о посещении и IP-адрес в журналах нашего сервера. Ниже скриншот:

Скриншот автора, декабрь 2025 год

А как насчет браузеров с агентным ИИ?

К сожалению, браузеры с искусственным интеллектом, такие как Comet или ChatGPT’s Atlas, не различаются в строке пользовательского агента, и вы не можете идентифицировать их в журналах сервера и смешиваться с обычными пользователями’ посещений.

Строка пользовательского агента браузера Atlas ChatGPT из записей журналов сервера (снимок экрана автора, декабрь 2025 г.)

Это разочаровывает оптимизаторов, поскольку отслеживание посещений веб-сайта агентами браузера важно для составления отчетов POV.

Как проверить, что сканирует ваш сервер

Некоторые хостинговые компании предлагают пользовательский интерфейс (UI), который упрощает доступ и просмотр журналов сервера, в зависимости от того, какую услугу хостинга вы используете.

<п>Если ваш хостинг не поддерживает эту возможность, вы можете получить файлы журналов сервера (обычно расположенные в /var/log/apache2/access.log на серверах под управлением Linux) через FTP или запросить их у службы поддержки вашего сервера, чтобы отправить их вам.

После того, как у вас есть файл журнала, вы можете просмотреть и проанализировать его либо в Google Sheets (если файл в формате CSV), либо в анализаторе журналов Screaming Frog, либо, если размер файла журнала меньше 100 МБ, вы можете попробовать проанализировать его с помощью Gemini AI.

Как проверить легитимность против. Фейковые боты

Поддельные сканеры могут подделывать законных пользовательских агентов, чтобы обойти ограничения и агрессивно очищать контент. Например, любой может выдать себя за ClaudeBot со своего ноутбука и инициировать запрос на сканирование с терминала. В журнале вашего сервера вы увидите это, когда Claudebot сканирует его:

curl -A ‘Mozilla/5.0 AppleWebKit/537.36 (KHTML, как Gecko; совместимо; ClaudeBot/1.0; +claudebot@anthropic.com)’ https://example.com

Проверка может помочь сэкономить пропускную способность сервера и предотвратить незаконный сбор контента. Самый надежный метод проверки, который вы можете применить, — это проверка IP-адреса запроса.

Проверьте все IP-адреса и отсканируйте их, чтобы убедиться, что это один из официально заявленных IP-адресов, перечисленных выше. Если да, вы можете разрешить запрос; в противном случае блокировать.

<п>Различные типы брандмауэров могут помочь вам в этом через проверенные IP-адреса из белого списка (что позволяет проходить законным запросам ботов), а все остальные запросы, выдающие себя за поисковых роботов AI в строках их пользовательских агентов, блокируются.

Например, в WordPress вы можете использовать бесплатный плагин Wordfence для внесения в список разрешенных законных IP-адресов из официальных списков (как указано выше) и добавления пользовательских правил блокировки, как показано ниже:

Настройка IP-адресов белого списка в Wordfence

Заблокировать настройку пользовательского агента в Wordfence

Правило белого списка превосходит другие, оно позволяет законным сканерам проходить и блокировать любые запросы на выдачу себя за другое лицо, поступающие с разных IP-адресов.

Однако обратите внимание, что IP-адрес можно подделать, и в этом случае, когда пользовательский агент бота и IP-адреса подделаны, вы не сможете его заблокировать.

Вывод: держите под контролем сканеры ИИ, чтобы обеспечить надежную видимость ИИ

Сканеры с искусственным интеллектом теперь являются частью нашей веб-экосистемы, а перечисленные здесь боты представляют собой основные платформы искусственного интеллекта, которые в настоящее время индексируют сеть, хотя этот список, вероятно, будет расширяться.

Регулярно проверяйте журналы своего сервера, чтобы узнать, что на самом деле попадает на ваш сайт, и убедитесь, что вы случайно не блокируете сканеры с искусственным интеллектом, если видимость в поисковых системах с искусственным интеллектом важна для вашего бизнеса. Если вы не хотите, чтобы ИИ-сканеры имели доступ к вашему контенту, заблокируйте их через файл robots.txt, используя имя пользовательского агента.

Мы будем обновлять этот список по мере появления новых сканеров и обновления существующих, поэтому мы рекомендуем вам добавить этот URL-адрес в закладки или регулярно посещать эту статью, чтобы поддерживать список сканеров AI в актуальном состоянии.

admin

Website https://originalweb.ru

Related Posts

Новости

Данные GSC неполны на 75 %

03.02.2026

Новости

Почему дорожные карты SEO ломаются в январе (как создать такие, которые выживут)

03.02.2026

Новости

Google показывает, как получить больше трафика с помощью функции Top Stories

02.02.2026