<стр>В результате анализа набора данных HTTP-архива Крис Грин обнаружил малоизвестные факты и удивительные идеи, которые обычно остаются незамеченными

<стр>Веб-альманах — это ежегодный отчет, который превращает набор данных HTTP-архива в практический смысл, сочетая крупномасштабные измерения с экспертной интерпретацией экспертов отрасли. <п>Чтобы получить представление о том, что отчет 2025 года может рассказать нам о том, что на самом деле происходит в SEO, я поговорил с одним из авторов обновления главы SEO, Крисом Грином, известным отраслевым экспертом с более чем 15-летним опытом работы.

Крис поделился со мной некоторыми сюрпризами, связанными с внедрением файлов llms.txt и тем, как системы CMS влияют на SEO гораздо больше, чем мы думаем. Малоизвестные факты, которые всплыли в ходе исследования, и удивительные открытия, которые обычно остаются незамеченными.

<с>Вы можете посмотреть полное интервью с Крисом на записи ИМХО в конце или продолжить чтение краткого содержания статьи.

“Думаю, данные [в Веб-альманахе] помогли мне показать, что еще многое сломано. В сети действительно грязно. Действительно беспорядочно.”

Управление ботами больше не ‘Google, или не Google?’

Хотя управление ботами в течение некоторого времени было бинарным – разрешить/запретить Google – это становится новым вызовом. Кое-что, что Эоган Хенн обнаружил ранее, а Крис обнаружил в своих исследованиях.

<стр>Мы начали наш разговор с разговора о том, как файлы robots теперь используются для выражения намерения получить доступ к ИИ-сканерам.

<п>В ответ Крис сказал, что, во-первых, необходимо знать о различных сканерах, каковы их намерения и, по сути, к чему может привести их блокировка, т. е. блокировка одних ботов имеет более серьезные последствия, чем другие.

Во-вторых, поставщики платформ должны прислушиваться к этим правилам и относиться к этим файлам соответствующим образом. Это происходит не всегда, и этика в отношении роботов и сканеров с искусственным интеллектом — это область, о которой оптимизаторам необходимо знать и понимать больше.

<стр>Крис объяснил, что, хотя отчет Альманаха показывает признаки использования robots.txt, оптимизаторам необходимо идти вперед и понимать, как контролировать ботов.

“Это не только понимание того, какое влияние оказывает каждый [бот/сканер], но и то, как донести это до бизнеса. Если у вас есть команда, которая хочет сократить как можно больше сканирования ботов, потому что они хотят сэкономить деньги, это может сильно повлиять на видимость вашего ИИ.”

Точно так же у вас может быть редакционная группа, которая не хочет, чтобы вся их работа была вычеркнута и извергнута. Итак, нам, как SEO-специалистам, необходимо понять эту динамику, как контролировать ее технически, а также как применить этот аргумент и в бизнесе». Крис объяснил.

<п>По мере появления новых платформ и сканеров командам SEO придется учитывать все последствия и сотрудничать с другими командами, чтобы обеспечить правильный баланс доступа к сайту.

Llms.txt применяется, несмотря на отсутствие официальной платформы 

Первым неожиданным открытием отчета было то, что предложенный стандарт llms.txt принят примерно 2% сайтов в наборе данных.

Llms.txt стал горячей темой в отрасли, и многие оптимизаторы по поисковой оптимизации отвергли ценность этого файла. Некоторые инструменты, такие как Yoast, включают стандарт, но пока не было продемонстрировано фактическое внедрение его поставщиками ИИ.

<п>Крис признал, что 2% — это более высокий уровень внедрения, чем он ожидал. Но большая часть этого роста, по-видимому, обусловлена инструментами SEO, которые добавили llms.txt в качестве функции по умолчанию или в качестве дополнительной функции.

Крис скептически относится к своему долгосрочному влиянию. Как он пояснил, Google неоднократно заявлял, что не планирует использовать llms.txt, и без четких обязательств со стороны основных поставщиков ИИ, особенно OpenAI, он рискует остаться нишевым символическим жестом, а не функциональным стандартом.

<п>Тем не менее, по данным файлов журналов Криса, некоторые ИИ-сканеры уже извлекают эти файлы, а в ограниченных случаях на них даже можно ссылаться как на источники. Грин рассматривает это не как конкурентное преимущество, а скорее как потенциальный механизм паритета, что-то, что может помочь понять определенные сайты, но не значительно улучшить их.

“Google неоднократно заявлял, что не планирует использовать llms.txt, что они подтвердили в Цюрихе в Search Central в прошлом году. Я думаю, что по сути Google это не нужно, поскольку у них уже есть сканирование и рендеринг. Итак, я думаю, что это зависит от того, заявит ли OpenAI, что они будут его использовать, и я думаю, что у них есть другие проблемы, кроме попытки установить новый стандарт.”

Разные, но абсолютно одинаковые там, где это важно

<п>Далее я спросил Криса о том, как оптимизаторы могут сбалансировать разницу между видимостью в поисковых системах и видимостью машин.

Он считает, что существует «значительное совпадение между тем, чем было SEO до того, как мы начали беспокоиться об этом, и тем, где мы находимся в начале 2026 года».

<п>Несмотря на это совпадение, Крис ясно дал понять, что если кто-то думает, что оптимизация для поиска и машин — это одно и то же, то он не знает о двух разных системах, о разных весах, о том факте, что интерпретация, извлечение и генерация совершенно разные.

Хотя существуют разные системы и разные возможности, он не думает, что SEO фундаментально изменился. Он убежден, что SEO и оптимизация с помощью искусственного интеллекта «в некотором роде одинаковы, и в важных местах они одинаковы, но вам придется подходить к этому по-разному». потому что он отличается тем, как продукция доставляется и потребляется.

<стр>Крис сказал, что оптимизаторы будут больше двигаться в сторону фидов, управления ими и их оптимизации.

“Универсальный коммерческий протокол Google, по которому вы потенциально можете совершать транзакции непосредственно из результатов поиска или из окна Gemini, очевидно, многое меняет. Это просто еще один шаг, чтобы вывести сайт из цикла. Но информация, то, что мы на самом деле оптимизируем, все еще нуждается в оптимизации. Это просто в другом месте.”

Платформы CMS формируют Интернет больше, чем думают оптимизаторы

<стр>Возможно, самым большим сюрпризом Веб-альманаха 2025 стал масштаб влияния, оказываемого платформами CMS и поставщиками инструментов. <п>Крис сказал, что он даже не осознавал, насколько велико это влияние. “Такие платформы, как Shopify, Wix и т. д., формируют фактическое состояние технического SEO, вероятно, более глубоко, чем я думаю, что многие люди на самом деле думают об этом.”

Крис продолжил объяснять, что «какими бы благими намерениями ни были отдельные SEO-специалисты, я думаю, что наше общее влияние на Интернет минимально за пределами поставщиков платформ CMS». Я бы сказал, что если вы действительно полны решимости оказать влияние за пределами своих конкретных клиентов, вам нужно подталкивать WordPress, Wix, Shopify или некоторых крупных поставщиков программного обеспечения в этих экосистемах.”

<п>Это создает возможности: веб-сайты, которые правильно реализуют технические стандарты, могут добиться значительной дифференциации, хотя большинство сайтов отстают от лучших практик.

Одним из наиболее интересных выводов из этого разговора было то, что в сети очень многое сломано и как мало влияния мы [SEO] на самом деле оказываем.

Крис объяснил, что «многие SEO-специалисты считают, что Google в долгу перед нами, потому что мы обслуживаем для них Интернет». Мы делаем грязную работу, но я также не думаю, что мы оказываем такое большое влияние на отраслевом уровне, как некоторым хотелось бы верить. Я думаю, что данные Веб-альманаха помогли мне понять, что еще многое сломано. В сети действительно грязно. Действительно беспорядочно.”

Агенты ИИ не заменят оптимизаторов поисковой оптимизации, но заменят плохие процессы

<п>Наш разговор завершился разговором об ИИ-агентах и ​​автоматизации. Крис начал со слов: «Агентов легко понять неправильно, потому что мы используем этот термин по-разному».

Он подчеркивает, что агенты — это не замена опыта, а ускорители процесса. Большинство рабочих процессов SEO включают повторяющийся сбор данных и распознавание образов — области, хорошо подходящие для автоматизации. Ценность человеческого опыта заключается в разработке процессов, применении суждений и контекстуализации результатов. <п>Агенты ранних стадий могли автоматизировать 60–80% работы, как это делают высококвалифицированные стажеры. «Чтобы сделать это применимым к вашему конкретному контексту, потребуются ваши знания и опыт. И я имею в виду не только контекст веб-маркетинга или контекст электронной коммерции. Я имею в виду контекст бизнеса, над которым вы конкретно работаете». – сказал он.

Крис утверждает, что многие SEO-специалисты не уделяют достаточно времени настройке того, что они делают конкретно для клиента. Он считает, что есть возможность построить автоматизированный процесс на 80%, а затем добавить реальную ценность, когда ваше вмешательство человека оптимизирует последние 20% бизнес-логики.

<п>SEO-специалисты, которые взаимодействуют с агентами, совершенствуют рабочие процессы и развиваются вместе с автоматизацией, с гораздо большей вероятностью останутся незаменимыми, чем те, кто вообще сопротивляется изменениям.

<стр>Однако, экспериментируя с автоматизацией, Крис предупредил, что нам следует избегать автоматизации сломанных процессов.

“Вам необходимо понимать процесс, который вы пытаетесь оптимизировать. Если процесс не очень хорош, значит, вы только что создали машину для производства посредственности в больших масштабах, которая, откровенно говоря, никому не помогает.

Крис считает, что это даст оптимизаторам преимущество, поскольку ИИ получает более широкое распространение. «Я полагаю, что люди, которые будут заниматься этим, улучшать эти процессы и показывать, как их можно постоянно развивать, будут теми, кто проживет дольше».

SEO могут добиться успеха, работая со сложностью

<п>Веб-альманах 2025 не предполагает замены SEO, но показывает, что его роль расширяется, причем многие команды еще не полностью адаптировались к этому. Основные принципы, такие как возможность сканирования и техническая гигиена, по-прежнему важны, но теперь они существуют в более сложной экосистеме, сформированной сканерами искусственного интеллекта, лентами, закрытыми системами и решениями на уровне платформы.

Там, где технические стандарты плохо реализованы в масштабе, те, кто понимает системы, которые их формируют, все равно могут получить значительное преимущество.

Автоматизация работает лучше всего, когда ускоряет хорошо продуманные процессы, и терпит неудачу, когда просто масштабирует неэффективность. SEO-специалисты, которые сосредоточены на разработке процессов, суждениях и бизнес-контексте, будут оставаться важными, поскольку автоматизация становится все более распространенной.

Во все более запутанной и управляемой компьютерами сети SEO-специалистами, которые добьются успеха, будут те, кто готов взаимодействовать с этой сложностью, а не игнорировать ее.

SEO в 2026 году – это не выбор между поиском и искусственным интеллектом; речь идет о понимании того, как несколько систем потребляют контент и где сейчас происходит оптимизация.

<стр>Посмотрите полное видеоинтервью с Крисом Грином здесь: