Новое исследование показывает, что рейтинг видимости ИИ меняется между запусками. Узнайте, почему одно показание в основном является шумом и сколько образцов вам действительно нужно.
Данные отслеживания видимости AI не совсем надежны. Поскольку генеративные модели часто дают разные ответы, доля цитирования и рейтинги на вашей информационной панели — это просто снимки постоянно меняющейся цели, а не фиксированные факты. <п>Разница между вами и конкурентом может быть реальной или просто колебаться между измерениями. Новый документ IQRush, который должен быть выпущен на следующей неделе (у нас был доступ к предварительной версии), предоставляет метод их различения, показывая, что никакой фиксированный объем данных не может определенно решить вопрос.
<стр>Эта статья написана Роном Силински, соучредителем IQRush, который продает программное обеспечение, которое измеряет видимость ИИ так, как утверждает статья. Причина, по которой это стоит вашего времени, заключается в том, что отдельная группа опубликовала аналогичные результаты повторных измерений в апреле, поэтому IQRush не единственный, кто подтверждает это.
Насколько смещаются эти числа
<п>Повторный запрос SearchGPT, Gemini или Perplexity с одним и тем же вопросом может каждый раз давать разные источники. Они созданы для того, чтобы добавить некоторую случайность к каждому ответу, поэтому каждая цитата — это всего лишь один из многих возможных URL-адресов, которые она могла бы получить. Предыдущая статья того же автора исследовала эту изменчивость и показала, что, например, при тестировании SearchGPT на беговой экипировке «Руководство Тома» составило около 9,5% цитирований, а «Мир бегуна» — примерно 6,0%. На информационной панели «Руководство Тома» появлялось чаще, но большая погрешность приводила к тому, что цифры перекрывались. При наличии только одного Было бы неверно утверждать, что «Руководство Тома» превзошло «Мир бегунов», поскольку разница в 3,5 балла находилась в пределах погрешности. Новая статья призвана предотвратить эту ошибку, рассматривая простой, но часто упускаемый из виду вопрос: сколько данных необходимо, чтобы рейтинги стали действительно значимыми?
Когда рейтингу стоит доверять
Ответ состоит из двух частей, и обе должны быть верными, чтобы рейтинг был надежным. Во-первых, порядок должен перестать меняться.
<п>Вначале рейтинги могут часто меняться по мере добавления новых ответов, поскольку ни один сайт еще не имеет явного преимущества. И только после того, как будет собрано достаточное количество ответов, лучшие сайты начнут четко выделяться, позволяя стабилизировать порядок. Кроме того, важно, чтобы самые популярные сайты находились на достаточном расстоянии друг от друга; если они очень близки, рейтинг может не иметь смысла, поскольку жесткая конкуренция на самом деле не показывает, кто действительно впереди. В статье рассматривается, превышает ли разница между топ-сайтами погрешность каждого из них. Когда это так, рейтинг отражает реальную разницу. Если это не так, то, вероятно, это просто статистический шум. Оба условия должны выполняться одновременно, ни одного из них недостаточно. В 30 платформенно-тематических тестах количество ответов, необходимых для выполнения обоих условий, колебалось от 33 до 94, считая только ответы с цитированием.
<п>Трое из 30 не достигли этой точки даже после 125 вопросов, все в SearchGPT, где лучшие сайты были слишком похожи, чтобы их можно было отличить друг от друга. Не существует единого ограничения, применимого везде; то, что подходит для одной платформы и темы, может не подойти для другой.
Мы кружили вокруг этого
В январе я обсуждал открытие SparkToro о том, что инструменты искусственного интеллекта дают другой список рекомендуемых брендов в более чем 99% случаев, когда вы задаете один и тот же вопрос. В этой статье остался без ответа один вопрос: сколько раз вам нужно задавать вопросы, прежде чем результаты стабилизируются? В этой статье предлагается самый ясный ответ, который я когда-либо получал поперек. <п>Рэнд Фишкин, возглавлявший это исследование, делится некоторыми полезными советами. Прежде чем тратить деньги на отслеживание видимости ИИ, он предлагает убедиться, что ваш провайдер «показывает свои математические данные». Статья IQRush — отличный способ сделать это, поскольку она предлагает простое правило остановки, поэтому вам не придется полагаться исключительно на интуицию относительно того, сколько прогонов достаточно.
Это также соответствует ряду исследований, которые SEJ провел за последний год, в каждом из которых сообщается о цифрах цитирования AI, как если бы они были фиксированными. Этот оборачивается, изучает само измерение и спрашивает, достаточно ли стабильны эти цифры для сравнения.
Что это меняет в ваших репортажах
<п>Число на вашей информационной панели — это всего лишь один образец. Прежде чем доверять ему, проверьте, выполняет ли ваш трекер одну и ту же проверку несколько раз и сообщает о диапазоне, или же он извлекает данные один раз и показывает чистый показатель. Чистый показатель на самом деле может быть предупреждающим знаком, а не подтверждением.
Выигрыш после изменения контента легко неверно истолковать. Например, увеличение на три пункта доли цитирования SearchGPT может показаться доказательством того, что ваши усилия окупились, но такое изменение может попасть в естественную изменчивость последовательных запусков, согласно исходным данным статьи.
Чтобы завоевать победу, измерьте до и после более одного раза. Одно чтение «до» и «после» не сможет отличить изменения от обычного шума.
<п>Платформа, которую вы измеряете, меняет объем необходимых вам данных не так, как вы могли бы предположить. Все сводится к тому, сколько независимой информации несет каждый ответ, а не к тому, сколько цитирований он вам дает. Gemini накапливает цитаты на одном и том же нескольких сайтах в рамках одного ответа, поэтому многие из этих цитат говорят вам об одном и том же. SearchGPT дает меньше ссылок на ответ, но распределяет их, поэтому каждый ответ содержит больше независимой информации, чем предполагает необработанный подсчет. Одно и то же количество ответов в двух системах не дает одинаковой уверенности, а бюджет, удовлетворяющий Gemini, может заставить вас гадать на SearchGPT.
<п>Иногда честный ответ заключается в том, что вы пока не можете сказать. Три из 30 тестов никогда четко не разделяли свои лучшие места в рамках бюджета. Для них правильным решением будет придержать, а не публиковать рейтинг, который данные не могут поддержать. Трекер, который может сказать вам: «недостаточно данных». стоит больше, чем тот, который печатает уверенный приказ каждый раз, когда вы спрашиваете.
Вершина рейтинга — это та часть, которую вы можете защитить лучше всего. При достаточном количестве ответов лидеры отрываются от середины и хвоста, хотя даже они не точны. Погрешность расширяется почти ниже начала, пока соседние позиции не превращаются в подбрасывание монеты, и даже первые 10 не были безупречными, при этом типичная погрешность на сайте из топ-10 составляет около пяти позиций, а одна из пяти шире, чем 10. Доверяйте лидерам, относитесь к середине и низу как к грубым и не сообщайте точные позиции за пределами начала списка.
Что не доказывает статья
<п>Ничто из этого не является результатом законченного, рецензируемого исследования. Это препринт, построенный на основе 30 тестов по тематике платформы в трех системах, в которых используются вопросы, сгенерированные ChatGPT, а не реальные поисковые запросы пользователей, на одном участке коллекции. Точные цифры не будут четко перенесены в ваши темы, поэтому воспринимайте их как форму проблемы, а не как справочную таблицу.
В эти подсчеты входят только ответы, содержащие цитирования, что наиболее важно для SearchGPT, поскольку часть вопросов вообще не возвращает цитирований. В одной теме 125 вопросов дали 104 полезных ответа, что составляет 17% ошибок, поэтому вам нужно будет отправить больше вопросов, чем предполагает общее количество.
<п>Проверка метода также является внутренней. Газета сравнивает рейтинг, который он назвал ранее, с окончательным рейтингом того же сборника, а не с какой-либо внешней истиной. Это проверяет, совместимо ли правило остановки само с собой, поэтому результат сопоставления от независимой команды здесь действительно работает. Авторы апрельской статьи Юлиус Шульте, Мальте Бликер и Филипп Кауфманн — исследователи из Университета Санкт-Галлена. Они проанализировали отдельный набор данных и пришли к одному и тому же выводу: одно показание ненадежно, и вам придется многократно проверять движок, чтобы доверять тому, что он вам говорит.
Куда это идет
<стр>Эта газета не соответствует тому, что нужно большинству людей: это способ узнать свой текущий бюджет, прежде чем вы начнете его собирать. Сиелински оставляет это для дальнейшей работы и отмечает, что число зависит от формы шаблона цитирования каждой платформы, поэтому единого универсального бюджета, вероятно, не будет.
Более серьезное изменение заключается в том, что отчеты о видимости ИИ идут по пути, который уже был в отчетах по рекламе и аналитике, в сторону цифр, которые содержат погрешность вместо ложной десятичной точки. Это происходит в то время, когда основные функции все еще отсутствуют, поскольку Search Console по-прежнему не сообщает вам, какие клики были получены от ИИ. Пока этого не произойдет, вам придется запускать проверку более одного раза и сообщать о диапазоне, а не об одном числе, которое вам сообщает ваша панель управления.
<ч2>Больше ресурсов
