Многие издатели рассматривают LLMs.txt как путь к видимости ИИ. Google объясняет, почему этого никогда не произойдет.
Джон Мюллер и Мартин Сплитт из Google рассказали о LLMs.txt и уценке, при этом Мюллер рассказал удивительный факт об первоначальной цели LLMs.txt, а также объяснил, почему предлагаемые стандарты имеют серьезные недостатки.
Что такое открытие и почему оно важно
В контексте поиска информации (поиска) обнаружение означает, что поисковая система обнаруживает существование определенной веб-страницы. Discovery является частью общей архитектуры поисковой системы.
Архитектура поисковой системы:
<ол>
Обнаружение URL-адреса (добавление его в сканирование).
<ли><сильный>Ползучий
Загрузка и анализ контента.
<ли><сильный>Индексация
Процесс анализа необработанных данных и их сохранения в структурированной базе данных, оптимизированной для поиска.
Та часть, которая интересует всех.
<ли><сильный>Первировка<бр> Это последний шаг, который показывает ранжированные веб-страницы в результатах поиска.
Выше приведен упрощенный обзор того, что такое поиск, а обнаружение — это самая первая часть процесса, который в конечном итоге заканчивается ранжированием и предоставлением ссылок на веб-сайты.
<п>Вывод здесь заключается в том, что Discovery является важной частью постановки веб-страницы в очередь для сканирования, индексации, ранжирования и, в конечном итоге, отображения в результатах поиска. Без Discovery веб-страница невидима.
И вот почему это важно: Discovery не является частью предлагаемого стандарта LLMs.txt. используйте
Первоначальное назначение LLMs.txt
Джон Мюллер рассказал, что он встретился с одним из людей, ответственных за создание предложения LLMs.txt, и сказал, что создатель объяснил, что LLMs.txt никогда не был предназначен для того, чтобы сделать сайт доступным для обнаружения, он никогда не был частью этого процесса.
<п>Это важный момент, поскольку многие владельцы сайтов тратят время, деньги и усилия на создание LLM.txt с целью их обнаружения и ранжирования в LLM. Это означает, что причина, по которой люди используют LLMs.txt, противоречит фактической цели LLMs.txt, которая не имеет ничего общего с Discovery.
Мюллер объяснил:
“Итак, я поговорил, кажется, с одним из людей, которые некоторое время назад создали это предложение. И идея на самом деле заключалась не в том, чтобы создать что-то, что облегчило бы поисковым системам или системам LLM обнаружение всего вашего контента, а скорее в том, что если LLM уже знает о вашем сайте и хочет узнать, что еще здесь есть, то это может быть подходом.
<п>И я думаю, что использование этого способа оптимизации для обнаружения системами искусственного интеллекта или обнаружения поисковыми системами не имеет никакого смысла.”
Мюллер далее объяснил, что многие люди используют LLMs.txt в надежде помочь процессу Открытия, несмотря на то, что это не является целью LLMs.txt.
Затем он обратил внимание на тот факт, что файл LLM.txt по своей сути ненадежен, поскольку владелец сайта говорит, о чем его контент, и это может совпадать, а может и не совпадать с тем, что находится в реальном HTML.
<п><эм>Он продолжил:
“Потому что по сути вы говорите этим системам, что у меня самый лучший веб-сайт на свете. А вот и все страницы, на которые должен зайти каждый. И ты должен купить все мои продукты или все, что ты туда положишь.
Итак, в системе LLM это… по сути, по замыслу, я не могу доверять тому, что здесь есть, как способу различения разных веб-сайтов.”
<стр>Агентские инструкции <п>Затем Мюллер говорит, что некоторые из этих предложений по стандартам могут быть полезны для помощи агенту ИИ, и это звучит так, как будто он говорит о протоколе контекста веб-модели (WebMCP).
Он объяснил:
“Если кто-то уже зашел на ваш сайт, возможно, вам поможет какая-то автоматизированная система. Если так, я хочу пойти в Мартинс Сплитт и купить фотографию, затем система LLM может зайти на ваш сайт и посмотреть, например, как вы покупаете фотографию? Может быть, у него есть какие-то рекомендации для меня как агента по покупке фотографий. В этом есть смысл.
<п>Но если сказать: «Я хочу купить фотографию, на каком веб-сайте она есть», система не будет заходить на ваш веб-сайт и на пять других веб-сайтов и говорить, у кого есть какая-то автоматизированная информация? А скорее они пытаются, собираются попытаться найти лучший веб-сайт…”
LLMs.txt не касается обнаружения ИИ
<стр>Мюллер вернулся к тому, как люди неправильно интерпретируют LLMs.txt как способ обнаружения системами искусственного интеллекта.
Он рассуждал по этому поводу:
“Я думаю, что с этой точки зрения оптимизация как способ быть обнаруженным не имеет смысла.
<п>Но что происходит, когда агент находится на вашем веб-сайте? Я думаю, что в целом это также является открытой областью для обсуждения на данный момент, поскольку в качестве предложения есть LLMs.txt. Обсуждаются различные файлы JSON и общеизвестные типы файлов.
Есть WebMCP, который, я думаю, пытается сделать что-то подобное, где они говорят: ну, вы сейчас находитесь на этой странице, но у нас для этого есть программный интерфейс, добавлен определенный URL-адрес или определенный механизм.
Думаю, это почти разные дискуссии.”
<х2>Обнаружение и рейтинг по-прежнему привязаны к HTML
<стр>Мюллер завершил свою мысль, подчеркнув, что Discovery находится на уровне HTML.
Он объяснил:
“Таким образом, общий подход SEO к тому, как мне найти веб-сайт, который продает мне фотографию, почти полностью будет привязан к HTML-страницам и обычным веб-страницам.
И затем, если пользователь решает обратиться к определенной услуге, то внутри этой службы появляется немного больше возможностей, чтобы помочь агенту или системе LLM найти правильный подход.
<п>Но что интересно, конечно, так это множество идей. И ни один из них по сути не стал единственной вещью, которую будут использовать все. Так что я уверен, что в следующем, я не знаю, полгода, году, а может и дольше, это займет немного времени. И некоторые из этих агентных систем собираются объединиться вокруг какого-то стандартного типа файла, механизма или чего-то еще.”
Мюллер не продвигал стандарт WebMCP, но если ИИ-агенты станут способом взаимодействия пользователей с веб-сайтами, то для веб-сайтов, особенно для сайтов электронной коммерции, будет полезно что-то вроде WebMCP, а не LLMs.txt.
WebMCP, естественно, лучше подходит для электронной коммерции, поскольку он фокусируется на предоставлении агентам ИИ практических возможностей, таких как фильтрация продуктов, поиск и распознавание продуктов, помощь в сравнении различных продуктов и помощь ИИ в добавлении продукта в корзину.
Агенты ИИ могут перемещаться с помощью HTML-кода веб-сайта, разработанного для людей. WebMCP облегчает успешное взаимодействие агентов ИИ с веб-сайтом, чего не делает LLMs.txt.
Хотя ни LLMs.txt, ни WebMCP не помогают ИИ обнаружить веб-сайт, ни один из них не был создан для этой цели. Часть Discovery, первый этап ранжирования, выполняется с помощью HTML. Если это так, то какой твой следующий шаг?
Слушайте поиск Google Off The Record Episode 111