Исследование показывает, что веб-сканеры с искусственным интеллектом завоевывают позиции среди традиционных поисковых систем, меняя подходы к оптимизации контента веб-сайтов.

• ИИ-боты становятся основными игроками в веб-сканировании.
• Веб-сайты должны использовать новые стратегии оптимизации для сканеров с искусственным интеллектом.
• Будущее SEO должно будет учитывать как поисковые системы, так и ботов с искусственным интеллектом.

  <стр>В отчете, опубликованном Vercel, подчеркивается растущее влияние ботов на основе искусственного интеллекта в веб-сканировании. <стр>GPTBot от OpenAI и Claude от Anthropic генерируют почти 1 миллиард запросов ежемесячно в сети Vercel. <стр>Данные показывают, что за последний месяц GPTBot сделал 569 миллионов запросов, а на долю Клода пришлось 370 миллионов.

  Кроме того, PerplexityBot выполнил 24,4 миллиона выборок, а AppleBot добавил 314 миллионов запросов.

  Вместе эти роботы с искусственным интеллектом представляют примерно <сильные>28% общего объема робота Googlebot, который составляет 4,5 миллиарда выборок.< /p>

  Вот что это может означать для SEO.

  Основные выводы по роботам с искусственным интеллектом

  <п>В ходе анализа рассматривались модели трафика в сети Vercel и различных веб-архитектурах. Он обнаружил некоторые ключевые особенности сканеров ИИ:

  <ул>

• Основные ИИ-сканеры не обрабатывают JavaScript, хотя и извлекают файлы JavaScript.
• Сканеры с искусственным интеллектом часто неэффективны: ChatGPT и Claude тратят более 34% своих запросов на 404 страницы.
• Тип контента, на котором фокусируются эти сканеры, варьируется. ChatGPT отдает приоритет HTML (57.7%), а Клод больше фокусируется на изображениях (35.17%). <ч3>Географическое распространение

  В отличие от традиционных поисковых систем, которые работают в нескольких регионах, роботы с искусственным интеллектом в настоящее время концентрируют свои поисковые системы в США. наличие: <ул>

• ChatGPT работает из Де-Мойна (Айова) и Феникса (Аризона)
• Клод работает из Колумбуса (Огайо)

Корреляция веб-альманаха

<п>Эти выводы согласуются с данными, представленными в главе SEO веб-альманаха, в которой также отмечается растущее присутствие сканеров с искусственным интеллектом.

Согласно отчету, веб-сайты теперь используют файлы robots.txt для установки правил для ИИ-ботов, сообщая им, что они могут или не могут сканировать.

GPTBot — ​​наиболее упоминаемый бот, появляющийся на

2,7% изученных мобильных сайтах. Также часто упоминается бот Common Crawl, который часто используется для сбора обучающих данных для языковых моделей.

В обоих отчетах подчеркивается, что владельцам веб-сайтов необходимо приспосабливаться к поведению роботов с искусственным интеллектом.

3 способа оптимизации для краулеров с искусственным интеллектом

<стр>Основываясь на последних данных Vercel и Веб-альманаха, вот три способа оптимизации для поисковых роботов с искусственным интеллектом.

<х3>1. Рендеринг на стороне сервера

Сканеры с искусственным интеллектом не выполняют JavaScript. Это означает, что любой контент, основанный на рендеринге на стороне клиента, может быть невидимым.

Рекомендуемые действия:

<ул>

• Реализовать рендеринг на стороне сервера для критического контента
• Убедитесь, что основной контент, метаинформация и структуры навигации присутствуют в исходном HTML
• Используйте статическое создание сайта или поэтапную статическую регенерацию, где это возможно

<х3>2. Структура контента и Доставка

Данные Верселя показывают различные предпочтения типов контента среди поисковых роботов с искусственным интеллектом:

<п><сильный>ЧатGPT:

<ул>

• Приоритет HTML-контента (57,70%)
• Тратит 11,50% выборки на файлы JavaScript

<сильный>Клод:

<ул>

• Особое внимание уделяется изображениям (35,17%)
• Выделяет 23,84% выборок для файлов JavaScript

Рекомендации по оптимизации:

<ул>

• Четко и семантически структурировать HTML-контент
• Оптимизация доставки изображений и метаданных
• Включить описательный альтернативный текст для изображений
• Реализовать правильную иерархию заголовков

<х3>3. Технические соображения

Высокие показатели 404 от поисковых роботов с искусственным интеллектом означают, что вам необходимо учитывать следующие технические аспекты:

<ул>

• Поддерживать обновленные карты сайта
• Реализовать правильные цепочки перенаправления
• Используйте согласованные шаблоны URL-адресов
• Регулярный аудит ошибок 404

<ч2>Взгляд в будущее

Для поисковых маркетологов идея ясна: чат-боты с искусственным интеллектом — это новая сила в веб-сканировании, и сайтам необходимо соответствующим образом адаптировать свою SEO.

Хотя сейчас ИИ-боты могут полагаться на кэшированную или датированную информацию, их способность анализировать свежий контент со всей сети будет расти.

Вы можете гарантировать, что ваш контент сканируется и индексируется с помощью рендеринга на стороне сервера, чистых структур URL-адресов и обновленных карт сайта.