Cloudflare запустил Markdown для агентов, автоматически конвертируя HTML-страницы в уценку, когда сканеры ИИ запрашивают это посредством согласования контента.

Cloudflare запустил функцию, которая преобразует HTML-страницы в уценку, когда системы искусственного интеллекта запрашивают это. Сайты в его сети теперь могут предоставлять ботам более легкий контент без создания отдельных страниц.

<п>Эта функция, называемая Markdown для агентов, работает посредством согласования содержимого HTTP. Сканер с искусственным интеллектом отправляет запрос с надписью Accept: text/markdown в заголовке. Cloudflare перехватывает его, извлекает исходный HTML-код с исходного сервера, преобразует его в уценку и доставляет результат.

Запуск состоялся через несколько дней после того, как Джон Мюллер из Google назвал идею предоставления уценки ботам с искусственным интеллектом «глупой идеей». и задался вопросом, могут ли боты правильно анализировать ссылки на уценку.

<ч2>Что нового

Cloudflare описал эту функцию как обращение с агентами ИИ как с «гражданами первого класса»; наряду с посетителями-людьми. В качестве примера компания использовала собственный пост в блоге. HTML-версия потребляла 16 180 токенов, а преобразование уценки — 3 150 токенов.

<п>«Передавать необработанный HTML-код ИИ — это все равно, что платить за слово, чтобы прочитать упаковку, а не букву внутри», — сказал он. написала компания.

Преобразование происходит в граничной сети Cloudflare, а не на исходном сервере. Веб-сайты включают его для каждой зоны через панель управления, и он доступен в бета-версии без дополнительной оплаты для клиентов планов Pro, Business и Enterprise, а также SSL для клиентов SaaS.

Cloudflare отметил, что некоторые инструменты ИИ-кодирования уже отправляют заголовок Accept: text/markdown. В качестве примеров компания назвала Claude Code и OpenCode.

Каждый преобразованный ответ включает заголовок x-markdown-tokens, который оценивает количество токенов версии с уценкой. Разработчики могут использовать это для управления контекстными окнами или планирования стратегии разбиения на фрагменты.

Настройки сигнала контента по умолчанию

<п>Преобразованные ответы включают заголовок Content-Signal, для которого по умолчанию установлено значение ai-train=yes, search=yes, ai-input=yes, что сигнализирует о том, что контент может использоваться для обучения ИИ, использования поиска и ввода ИИ (включая агентное использование). Учитывает ли данный бот эти сигналы, зависит от оператора бота. Cloudflare заявила, что в будущем эта функция будет предлагать собственные политики сигналов контента.

Среда Content Signals, о которой Cloudflare объявила во время Недели Дня Рождения 2025 года, позволяет владельцам сайтов устанавливать предпочтения относительно использования их контента. Включение преобразования уценки также применяет сигнал использования по умолчанию, а не только изменение формата.

Чем это отличается от того, что критиковал Мюллер

<п>Мюллер критиковал другую практику. Некоторые владельцы сайтов создают отдельные страницы уценки и передают их пользовательским агентам искусственного интеллекта через промежуточное программное обеспечение. Мюллер выразил обеспокоенность по поводу клоакинга и неработающих ссылок и задался вопросом, могут ли боты вообще правильно анализировать уценку.

Функция Cloudflare использует другой механизм. Вместо обнаружения пользовательских агентов и обслуживания альтернативных страниц он полагается на согласование контента. Один и тот же URL-адрес предоставляет разные представления в зависимости от того, что клиент запрашивает в заголовке.

Комментарии Мюллера касались обслуживания на основе пользовательского агента, а не согласования контента. В теме Reddit о функции Cloudflare Мюллер ответил той же позицией. Он написал: «Зачем усложнять ситуацию (параллельная версия только для ботов) вместо того, чтобы тратить немного времени на улучшение сайта для всех?”

<п>Практический результат с точки зрения сканера по-прежнему аналогичен. Робот Googlebot, запрашивающий стандартный HTML, увидит полную веб-страницу. Агент ИИ, запрашивающий уценку, увидит урезанную текстовую версию той же страницы.

Новый радар

Cloudflare также добавила в Cloudflare Radar отслеживание типов контента для трафика ботов AI. Данные показывают распределение типов контента, возвращаемых ИИ-агентам и сканерам, с разбивкой по типам MIME.

Вы можете фильтровать по отдельным ботам, чтобы увидеть, какие типы контента получают конкретные сканеры. В качестве примера Cloudflare показал OAI-SearchBot, отображающий объем ответов с уценкой, переданных поисковому роботу OpenAI.

Данные доступны через общедоступные API Cloudflare и Data Explorer.

Почему это важно

Если вы уже используете свой сайт через Cloudflare, вы можете включить преобразование уценки с помощью одного переключателя вместо создания отдельных страниц уценки.

<п>Включение Markdown для агентов также устанавливает для заголовка Content-Signal значение ai-train=yes, search=yes, ai-input=yes по умолчанию. Издателям, которые внимательно следят за доступом ИИ к своему контенту, следует просмотреть настройки по умолчанию, прежде чем включать эту функцию.

<ч2>Взгляд в будущее

Cloudflare заявила, что планирует в будущем добавить пользовательские параметры политики Content-Signal в Markdown для агентов.

Критика Мюллера была сосредоточена на отдельных страницах с уценкой, а не на стандартном согласовании содержания. Google не уточнил, подпадает ли предоставление уценки посредством согласования контента под его правила маскировки.

Эта функция доступна по согласию и ограничена платными планами Cloudflare. Прежде чем включать его, просмотрите настройки Content-Signal по умолчанию.

Просто ПОДПИШИТЕСЬ, чтобы прочитать эту статью (это бесплатно)

Экспертные мнения, которые вы больше нигде не найдете

Новости и аналитика доставляются утром с понедельника по пятницу. Отпишитесь в любое время. Нажимая кнопку «Подписаться на чтение», я соглашаюсь и принимаю политику конфиденциальности журнала Search Engine Journal.