Джон Мюллер из Google высказывает мнение о тенденции зеркалирования HTML-страниц с уцененными версиями для AI SEO.

Джон Мюллер из Google ответил на сообщение на Bluesky, в котором сожалел о том, что все усилия тратятся на доступность агентов ИИ вместо того, чтобы сосредоточиться на более продуктивной деятельности по обеспечению доступности сайтов для людей.

<ч2>Тактическое SEO

Одним из последовательных аспектов истории SEO является то, что практикующие специалисты склонны следовать тактическим тенденциям, если очевидно, что все остальные делают это. Думаю, это человеческая природа.

<п>Когда-то был парень, который создал каталог и купил достаточно высоких ссылок PageRank на домашнюю страницу, чтобы ее PageRank достиг примерно 7 (по шкале от 1 до 10). SEO-специалисты практически отталкивали друг друга, чтобы передать этому парню свои деньги. Он продал тысячи ссылок из своего каталога, и никто не подумал проверить, действительно ли какая-либо из ссылок влияет на рейтинг. Это было легко проверить, но никто не сделал. <п>Последняя тактика — это LLMs.txt и создание страниц уценки для использования агентом ИИ. В феврале Cloudflare объявила, что их инфраструктура может автоматически создавать файлы уценки, в основном для того, чтобы разработчики могли сэкономить потребление токенов LLM. В их объявлении говорилось, что OAI-SearchBot, поисковый робот OpenAI, использует страницы с уценкой.

Официальная документация OpenAI явно позиционирует свой OAI-SearchBot как сканирующий веб-сайты и не упоминает и не рекомендует файлы уценки.

“OAI-SearchBot предназначен для поиска. OAI-SearchBot используется для отображения веб-сайтов в результатах поиска в функциях поиска ChatGPT. Сайты, которые отключены от OAI-SearchBot, не будут отображаться в результатах поиска ChatGPT, но все равно могут отображаться в виде навигационных ссылок. Чтобы ваш сайт появлялся в результатах поиска, мы рекомендуем разрешить OAI-SearchBot в файле robots.txt вашего сайта и разрешить запросы из опубликованных ниже диапазонов IP-адресов.”

Да, он может сканировать уценку, если на него указать, но он предназначен не для этого.

<стр>Стефани Уолтер опубликовала:

“Печальная правда: мы делаем Интернет доступным для ИИ, а не для людей.
Некоторые сайты теперь предлагают текстовую версию для LLM, но по-прежнему не учитывают реальные потребности в доступности, такие как правильная структура заголовков и ориентиры, необходимые пользователям программ чтения с экрана.”

Джон Мюллер из Google ответил:

“Правильно созданный веб-сайт хорошо работает для агентов ИИ … и поисковые системы, и LLM, и, прежде всего, для реальных людей.

Если вы пытаетесь решить проблемы с доступностью, создав отдельный “дружественный для агента” версия, вы просто наращиваете технический долг. Вам придется переделывать это несколько раз. Просто исправь это.”

Агенты ИИ сканируют HTML

Сканировать HTML – относительно тривиальная задача. Поисковые системы занимаются этим уже более тридцати лет. Сделать сайты доступными для всех имеет смысл, особенно потому, что именно сигналы поведения пользователей всегда определяли рейтинг в поисковых системах. От ссылок до пользователей, осуществляющих поиск по названию бренда, Google постоянно использует пользовательские сигналы для целей ранжирования.

Итак, с точки зрения SEO имеет смысл сделать веб-сайты доступными для всех.