<стр>Исследование ключевых слов показало, что это предположение. Векторная оценка этого не дает, и именно здесь кроется настоящая ошибка.

<п>Мы всегда были приблизительными к актуальности. Каждый список ключевых слов, каждая оценка TF-IDF, каждое редакционное мнение о том, соответствует ли страница «теме»; это была попытка ответить на единственный вопрос: соответствует ли этот контент тому, что ищет пользователь? Инструменты изменились. Вопрос не возник. Что существенно изменилось, так это разрешение инструмента. Исследование ключевых слов приближает релевантность к лексическому совпадению: если слова совпадают, то, вероятно, темы совпадают. Векторный семантический анализ аппроксимирует его посредством перекрытия значений: если понятия близки по пространству внедрения, содержание, вероятно, будет релевантным независимо от того, появляются ли точные термины. Это настоящий существенный апгрейд, но это не переход от догадок к знанию. <п>Причина, по которой различие имеет значение, заключается в том, что значительная часть сообщества специалистов по SEO и контент-стратегии сейчас относится к нему так, как если бы оно было таковым. Они смотрят на оценки выравнивания, результаты косинусного сходства и показатели семантической близости и воспринимают их как основную истину. Высокий балл означает соответствие. Низкий балл означает отсутствие согласования. Оптимизируйте, пока число не увеличится. И это число, поскольку это число, кажется, что оно решило вопрос, который исследование ключевых слов всегда оставляло открытым. Это не так. Он дал вам версию того же приближения с более высоким разрешением, и именно более высокое разрешение делает его опасным, потому что оно устраняет скромность, которую раньше обеспечивало низкое разрешение. src=”https://www.searchenginejournal.com/wp-json/sscats/v2/tk/Middle_Post_Text”>

<сильный>Точность – это не точность

<п>Система SMART Джерарда Солтона в Корнелле представила модель векторного пространства для поиска документов в 1960-х годах. В то время основной идеей была та же идея, которая лежит в основе сегодняшних моделей внедрения: представить запрос и документ в виде векторов, измерить угол между ними и использовать этот угол в качестве показателя релевантности. Что изменилось за 60 лет, так это сложность построения этих векторов. Солтон использовал термин «частота». Современные модели внедрения используют представления, основанные на преобразователях, которые кодируют семантические отношения, контекстное значение и концептуальную близость в сотнях или тысячах измерений. Измерения стали значительно лучше. Но измеряемая вещь, угловое расстояние между двумя векторными представлениями, по-прежнему является показателем связи, существующей за пределами математики.

Именно сюда пришла исследовательская группа Netflix в своем исследовании 2024 года косинусного сходства при внедрении моделей. Стек, Эканадхам и Каллус продемонстрировали, что косинусное подобие, примененное к изученным вложениям, может дать результаты, которые в их понимании являются произвольными. Способ обучения модели внедрения, применяемая регуляризация, данные, которые она видит, — все это формирует геометрию пространства таким образом, что значение необработанного косинуса становится ненадежным как абсолютная мера семантического сходства. Высокий балл в одном пространстве встраивания не эквивалентен высокому баллу в другом. Оценка реальная. Сходство, которое оно, по его утверждению, представляет, может быть и не так.

<п>Для практиков, оптимизирующих контент, последствия очевидны. Когда вы оцениваете соответствие вашего контента запросу с помощью модели внедрения, вы измеряете семантическую близость внутри представления языка этой конкретной моделью. Вы не измеряете, как поисковая инфраструктура Google, конвейер RAG OpenAI или индекс Perplexity будут оценивать одну и ту же взаимосвязь. Эти системы используют свои собственные модели внедрения, свою собственную архитектуру поиска и свои собственные уровни переранжирования. Показатель 0,92 в вашей системе измерений может соответствовать хорошему воспроизведению в одной системе, слабому извлечению в другой и нерелевантности в третьей.

<сильный>Что ты не так?

Это ось, которая имеет значение, и не о ней думает большинство практиков. Вопрос не в том, является ли исследование ключевых слов или выравнивание векторов лучшим методом. Вопрос в том, какую ошибку выдает каждый метод, поскольку тип ошибки определяет, сможете ли вы ее исправить.

Исследование ключевых слов, несмотря на все его ограничения, дает известное неизвестное. Вы знаете, что вы приближаетесь. Вы знаете, что соответствие терминов странице не гарантирует тематического охвата, не гарантирует удовлетворенности пользователей и не гарантирует, что поисковая система сочтет страницу релевантной. Неточность заметна, и поскольку она заметна, это позволяет вам быть честным. Практики, выросшие в оптимизации на основе ключевых слов, научились перекрывать, создавать вспомогательный контент, триангулировать намерения с разных точек зрения именно потому, что они понимали, что этот инструмент тупой. Прямолинейность была особенностью. Это требовало смирения.

Оценка векторного выравнивания, напротив, может дать неизвестно неизвестно. Число точное. Он имеет десятичные знаки. Его можно отслеживать с течением времени, отображать в виде графика, сравнивать различные ресурсы контента и оптимизировать. И эта точность создает психологическую ловушку: создается впечатление, что на вопрос уже дан ответ. Содержимое 0,89 соответствует запросу. Это должно означать что-то определенное. Но на самом деле это означает, что в одном конкретном пространстве внедрения, используя изученное представление одной конкретной модели, угловое расстояние между двумя векторами попадает в определенный диапазон. Оценка ничего не говорит о том, использует ли система производственного поиска, которая фактически будет обслуживать ваш контент, совместимое пространство встраивания, применяет ли ту же токенизацию или одинаково взвешивает семантическое сходство во время реранжирования.

<п>Таблица лидеров тестов MTEB наглядно это иллюстрирует. Разброс производительности между текущими моделями внедрения немалый. Ресурс контента, который хорошо оценивается по пространству внедрения одной модели, может существенно отличаться по сравнению с другим, не потому, что изменился контент, а потому, что изменилась геометрия пространства. И модель внедрения, которую использует ваш инструмент оценки, почти наверняка не та, которую данная платформа ИИ использует в производстве. Не существует общедоступного реестра того, какая модель использует какой уровень поиска системы. Вы проводите измерения в пространстве, которое отражает общую проблему, но не идентично конкретной системе, в которой будет оцениваться ваш контент.

<п>Это не аргумент против измерения. Это аргумент против того, чтобы рассматривать измерения как установленный факт. Разница между указывающим сигналом и окончательным ответом составляет всю дисциплину.

<сильный>Инструмент стал лучше. Старого недостаточно

Ничто из этого не спасает оптимизацию только по ключевым словам как достаточную стратегию. Этого недостаточно, и причины структурные, а не сентиментальные.

<п>LLM и поисковые системы искусственного интеллекта работают в семантическом, а не в лексическом пространстве. Они обрабатывают смысл, а не строки. Страница может идеально соответствовать целевому списку ключевых слов, но при этом семантически отклоняться от фактического намерения, которое представляет запрос, поскольку наличие ключевого слова и семантический охват — это разные вещи. И наоборот, страница может не использовать ни одного из целевых ключевых слов и при этом быть строго семантически согласованной, поскольку она охватывает одну и ту же концептуальную территорию с помощью разного словарного запаса. Пространство парафразов и синонимов, в котором работают LLM, структурно невидимо для оценки на основе ключевых слов. Вы не можете увидеть то, что не можете измерить, а инструменты ключевых слов не могут измерить семантическую близость.

<п>Рассмотрим практический случай. Исследование ключевых слов правильно определяет «стратегии предотвращения оттока клиентов». как ценная цель. Команда по контенту создает вокруг него тщательный, соответствующий намерениям материал. Он охватывает тему, естественным образом использует целевые термины и без проблем проходит любую проверку ключевых слов. Но оценка соответствия показывает, что семантический центр тяжести контента находится ближе к «измерению оттока» пользователей. чем «предотвратить отток клиентов» Поскольку эта статья в большей степени опирается на диагностическую структуру, выявление учетных записей, подверженных риску, расчет уровня оттока, сегментацию по поведению и меньше на структуру вмешательства, то, что на самом деле делать после того, как вы определили проблему. Оба лечения соответствуют теме. Оба соответствуют целевому ключевому слову. Но семантическая дистанция между контентом и запросом, как ее представляет поисковая система, больше, чем предполагает охват ключевых слов, и исследование ключевых слов не имеет инструмента, позволяющего выявить это отклонение. Оценка выравнивания имеет значение. Не потому, что исследование ключевых слов не удалось, а потому, что оно никогда не было создано для просмотра в таком разрешении.

<п>Это не критика людей, которые сосредоточены на исследовании ключевых слов. Эти практикующие не ошибаются. Они работают с разрешением, которое позволяют доступные инструменты. Интуитивное соответствие между содержанием и намерением запроса — это настоящий навык, и лучшие специалисты по стратегии ключевых слов делают что-то действительно сложное: они аппроксимируют семантическую релевантность с помощью лексических индикаторов, используя редакционную оценку, чтобы преодолеть разрыв, который инструменты не могли преодолеть. Теперь инструменты могут восполнить этот пробел. Редакционное мнение по-прежнему имеет значение, но разрыв, который оно должно преодолеть, другой.

Опасность представляет собой практикующий специалист, который решает, что, поскольку исследования ключевых слов больше недостаточно, оценка векторного выравнивания является полной заменой. Этот практик променял одно приближение на лучшее, потеряв при этом осознание того, что это все еще приближение. Они модернизировали инструмент и понизили уровень грамотности, что является чистой потерей.

Дисциплина заключается в том, чтобы знать, о чем вам не говорит число

Закон Гудхарта, наблюдение о том, что, когда показатель становится целью, он перестает быть хорошим показателем, — это не просто афоризм для экономистов. Это тот самый провал, который ждет любую команду, которая рассматривает показатель согласованности как цель для оптимизации, а не как сигнал для интерпретации. В тот момент, когда партитура становится целью, содержание начинает смещаться в сторону геометрии партитуры и от действительной значимости, к которой оно должно было приближаться. Вы начинаете писать для модели внедрения, а не для программы чтения и системы поиска, и модель внедрения, для которой вы пишете, не та, которую использует любая производственная система.

<п>Настоящая дисциплина, которой не существовало, когда практики ориентировались только на основе интуиции ключевых слов, – это понимание того, что такое измерение выравнивания и о чем оно вам не говорит. Он говорит вам, что в данном пространстве внедрения векторное представление вашего контента геометрически близко к векторному представлению запроса. Это полезно. Это больше информации, чем дает вам наличие ключевого слова. Он говорит вам о семантическом покрытии нечто такое, чего не может сказать лексический анализ. Но это не говорит вам, имеет ли пространство внедрения производственной системы одинаковую геометрию. Он не говорит вам, как изменение рейтинга повлияет на результат. Он не говорит вам, будет ли уровень генерации LLM интерпретировать ваш контент как авторитетный, полный или достойный цитирования. Выравнивание является сигналом, смежным с поиском. Здесь ничего не говорится об интерпретации.

Практикующий, который может удерживать эти две реальности, сигнал реален исигнал неполный, это тот, кто действует с подлинной грамотностью в отношении систем, на которые пытается повлиять. Тот, кто их сворачивает, кто воспринимает высокий балл выравнивания как подтверждение того, что контент «оптимизирован», т.е. работает с более сложной версией той же самоуверенности, которая заставляла людей думать, что плотность ключевых слов в 3% означает, что их страница релевантна. Число стало лучше. Ошибка та же.

<сильный>Репрезентативный, не идентичный

<п>Честный кадр — это не «правильное пространство против неправильного пространства». Такая бинарность приводит к параличу: если пространство измерения не является пространством производства, то зачем вообще измерять? На мой взгляд, лучшим фреймворком является спектр репрезентативности. Некоторые пространства измерений ближе к тому, что используют производственные системы, чем другие. Некоторые модели внедрения имеют больше общего архитектурного ДНК с моделями, лежащими в основе основных платформ искусственного интеллекта, чем другие. Некоторые методологии оценки учитывают разрыв между измерением и производством лучше, чем другие. Вопрос не в том, идеальны ли ваши измерения. Этого никогда не будет. Вопрос в том, насколько репрезентативна ваша область измерений для систем, которые вас действительно волнуют, и относитесь ли вы к оценкам с соответствующим направленным уважением, а не с абсолютной верой.

Это настоящая работа. Не гоняюсь за цифрой. Не отказываться от измерений, потому что они несовершенны. Достижение достаточной грамотности в том, как работают эти системы, чтобы знать, какие сигналы следует воспринимать серьезно, какие игнорировать, а какие комбинировать с другими индикаторами, прежде чем принимать решение о контенте. Эта грамотность была необязательной, когда единственным инструментом было исследование ключевых слов, потому что этот инструмент был настолько очевидным, что никто не принял его за истину. Теперь это не является обязательным. Инструменты достаточно точны, чтобы обмануть вас, а цена обмана — оптимизация контента для геометрии, которая не отражает систему, в которой ваш бренд должен быть виден.

<п>Я писал о связанном аспекте этой проблемы в прошлом году в статье о гигиене векторного индекса, уделяя особое внимание тому, как качество и поддержание самого индекса влияют на результаты поиска. Эта статья — обратная сторона этой медали: не индекс, а показатель, который вы используете, чтобы оценить, принадлежит ли ему ваш контент. И оба связаны с более масштабным вопросом, к которому я вернусь в будущей работе, и это пробел, о котором большинство людей пока не говорят.

Начинайте с того, что видите

Если вы все еще используете исследование ключевых слов в качестве основного метода выравнивания контента, вы работаете с грубым инструментом в среде, которая теперь требует большего разрешения. Если вы выполняете оценку векторного выравнивания и воспринимаете выходные данные как установленную истину, у вас есть решимость, но нет грамотности, чтобы безопасно использовать ее. И то и другое исправимо. Путь вперед – это не выбор одного над другим. Это их наслаивание, понимание того, что каждый из них может и не может вам сказать, и создание организационного потенциала для того, чтобы рассматривать точные измерения как то, что они есть: сигналы направления, производимые внутри определенного пространства, которые могут представлять или не представлять системы, в которых конкурирует ваш контент.

Интуиция никогда не была врагом. Иллюзия того, что вы преодолели потребность в суждениях, такова.

<стр>Для более широкого взгляда на то, как видимость поиска ИИ меняет работу по поиску, см. “Машинный уровень” охватывает структурные сдвиги, которые делают такой вид измерительной грамотности необходимым.

Этот пост был первоначально опубликован на сайте Duane Forrester Decodes.