<стр>Узнайте, как рекомендации брендов ИИ различаются на разных платформах и что недавние результаты говорят об их точности.
<п>Я отправил Хасану, исполнительному директору исследовательской фирмы Clovion AI, базирующейся в Осло, список методологических вопросов о «Выживании в воронке искусственного интеллекта». Новое исследование Clovion о том, как Claude, ChatGPT и Gemini рекомендуют бренды в ходе разговора. Десятый вопрос был обычным, его задают каждой исследовательской группе. В отчете говорится, что три ИИ-помощника категорически противоречат друг другу в фактах о бренде в 15% случаев, основываясь на 33 проверенных противоречиях. Было ли 33 действительно достаточно, чтобы подтвердить утверждение о том, какая модель имеет тенденцию недооценивать функции бренда, а какая — перепродавать их?
Ответ Хасана не был защитой номера. Это была коррекция. “Реальное число — 330” он ответил. “Дизайнер опустил ноль в макете” По его словам, та же самая пропущенная десятичная дробь превратила 2040 брендов в “204” на седьмой странице PDF-файла, который мне прислали до его публикации. На этой неделе выйдет обновленная версия. Итак, сначала я получил исправленные цифры.
Это странный способ начать колонку об отчете об исследовании ИИ, прежде всего признавая, что в проекте отчета есть ошибка. Но это самый честный способ, потому что поправка говорит то, чего никогда не могла сказать статистика в заголовке исследования. Правильное чтение ответов ИИ, независимо от того, являетесь ли вы маркетологом, пытающимся выяснить, рекомендует ли ChatGPT ваш продукт, или исследователем, проводящим о нем исследование, сводится к тому, чтобы уловить десятичную точку, прежде чем строить на ее основе стратегию.
Воронка, краткое содержание
Отложите на мгновение опечатку, и основное исследование окажется верным. Clovion провел 69 120 многоходовых бесед с тремя помощниками в 36 категориях программного обеспечения B2B и финансовых технологий, задав вступительный вопрос, например: «лучшие инструменты CRM?” а затем одно реалистичное продолжение. Если повторно задать тот же вопрос, 90% рекомендуемого списка останутся нетронутыми. Добавив одну обычную информацию о покупателе, что-то простое, например, «для небольшой команды», сохранил лишь 28%. Шестьдесят два процента брендов, давших первый ответ, исчезли после второго.
<п>Я спросил Хасана, сможет ли «маленькая команда» был тщательно выбран для создания этого дропа. Это было не так. Его команда также тестировала «для крупного предприятия» и получил почти такой же отток, около 72% в любом случае, против примерно 10%, когда вопрос просто повторялся. Список не является нестабильным. Он реагирует главным образом на то, решила ли модель, для кого на самом деле предназначен бренд.
Это то, чем стоит заняться, если вы зарабатываете на жизнь SEO или стратегией бренда. Быть названным в ответе ИИ — это не то же самое, что получить от него доверие. Модель, которая помещает вас в свой первый список CRM, все равно может вас отрезать в тот момент, когда покупатель выскажет конкретную информацию, и данные Clovion говорят, что это происходит в большинстве случаев, а не в некоторых случаях.
Коррекция меняет форму наименьшего, наиболее цитируемого числа
<п>Вот где фиксированная десятичная дробь действительно имеет значение для того, как вам следует читать это исследование. Старая цифра — 33 проверенных противоречия — была настолько мала, что любое утверждение, основанное на ней для каждой модели, стояло на тонком льду. Если исправить, то это 330, и разбивка по моделям, которой поделился Хасан, гораздо более показательна, чем совокупная цифра в 15%, которую приводит проект отчета: Клод занижает собственные характеристики бренда в 160 раз против 10 завышенных оценок. ChatGPT занижает требования в 70 раз и никогда не превышает их. Близнецы идут другим путем, превышая 80 раз против 30 заниженных.
<п>Рабочая теория Хасана, основанная на отдельном, еще не опубликованном исследовании Clovion о том, откуда каждая модель берет свои ответы, заключается в том, что Gemini в большей степени опирается на маркетинговые материалы и видео, поэтому они склонны отдавать должное бренду во всем, что он рекламирует. Клод и ChatGPT больше полагаются на документацию и страницы продукта, точно описывают основной продукт и делают упор на фразу «его нет». когда новая функция недостаточно документирована. Если это подтверждается исследованием, которое Clovion еще не опубликовал, это означает, что направление ошибки ИИ-помощника в отношении вашего продукта зависит от того, какой контент вы разместили перед ним и где этот контент находится.
<п>Я более 20 лет рассказывал клиентам, что хороший рейтинг и правильное описание — это две разные проблемы. Это самое яркое доказательство того, что теперь это одна и та же проблема, проявляющаяся в рамках одного разговора, и что ее решение зависит от того, какой помощник неправильно описывает.
Почему никто не ловит недостающий ноль
Валлеис связывает это с исследованием прогнозирующей обработки, идеей о том, что беглые читатели не расшифровывают каждое слово, они предсказывают, что будет дальше, основываясь на контексте и двигаясь дальше. Вот как “тех” читается как “the” и отсутствующее слово “not” скользит мимо тебя. По словам Валлейса, наша ментальная модель предложения превосходит текст перед нами. Уверенный, хорошо отформатированный PDF-файл — это самое простое место в мире для этого, а опущенный ноль в файле макета — гораздо меньшая и гораздо более простительная версия той же ошибки.
<п>Именно поэтому исправление не «меньше доверяет отчету». Это «держать в курсе пилота-человека, который проверяет число, а не атмосферу абзаца вокруг него». Тридцать три противоречия и 330 противоречий отличаются не просто в десять раз. Они поддерживают совершенно разные уровни уверенности в том, реален ли шаблон для каждой модели. Двести четыре бренда и 2040 брендов — это не одно и то же исследование. Если бы Кловион не уловил это, и если бы я не спросил, меньшие и более шаткие цифры продолжали бы циркулировать как факт, цитируемые именно той отраслевой прессой, которая должна это уловить.
На что не претендует Кловион, и почему это самое честное
<п>В отчете осторожно говорится, что связь между тем, как модель воспринимает ваше соответствие и рекомендует ли она вас, представляет собой «сильную, последовательную связь, а не доказанный причинно-следственный закон». Я подсказал Хасану, как будет выглядеть настоящий причинно-следственный тест. Его ответ: измените что-то одно: содержание публичного позиционирования бренда, оставьте все остальное в покое и посмотрите, будут ли модели’ поведение меняется относительно брендов, которых никто не трогал. Clovion еще не проводил этот тест. Он также напрямую признал более неудобную возможность: фактическое позиционирование бренда в реальном мире, вероятно, определяет как то, как модель описывает его, так и то, будет ли его рекомендовать, что сделает позиционирование реальным рычагом, а «восприятие» модели; просто симптом, а не причина.
Это необычайно откровенный ответ от компании, продающей мониторинг видимости с помощью ИИ, и именно поэтому я доверяю остальному тому, что сказал мне Хасан. У него также не было данных о том, насколько быстро меняется восприятие бренда ИИ после того, как этот бренд меняет собственный контент. «Мы не проводили тест «до и после»,» – сказал он. «Считайте, что его стоит протестировать, а не гарантировать, что это произойдет в течение X недель». Любой, кто говорит вам, что может пообещать конкретные сроки изменения мнения Клода или Близнецов о вашем бренде, является догадкой, по собственному признанию Кловиона.
Что с этим делать
<стр>Есть три вещи, которые вам следует сделать, исходя из того, что сказал мне Хасан, и того, что подтверждается исправленными данными.
Во-первых, отслеживайте весь разговор, а не первый ответ. Если вы отслеживаете видимость ИИ с помощью проверки с одним запросом, вы измеряете верхнюю часть воронки, которая теряет 62% своего содержимого одним предложением позже. Постройте свой мониторинг вокруг дополнительных вопросов, которые действительно задают ваши настоящие покупатели.
<п>Во-вторых, чините помощников по одному, по порядку. Хасан прямо сказал, что одно изменение контента не приведет к перемещению всех трех моделей одновременно, поскольку они взяты из разных источников. Его предлагаемый порядок: сначала исправьте грубые фактические ошибки, поскольку это дешевая победа, затем переходите к комбинациям, подходящим для сегмента, которые наиболее важны для вашего конвейера, проверяя каждого помощника в нескольких прогонах, а не доверяя какому-то одному ответу.
В-третьих, не цитируйте статистику, источник которой вы не отследили, включая эту. Собственный отчет Кловиона нуждался в исправлении самого технического и наиболее цитируемого показателя. Прежде чем создавать колонку, список клиентов или краткое содержание о проценте исследований ИИ, спросите, откуда взялись базовые подсчеты и проверял ли кто-нибудь математические расчеты с тех пор, как они покинули программное обеспечение для проектирования.
Я видел, как SEO проходило через несколько таких моментов: от Panda до индексации, ориентированной на мобильные устройства, и медленного поиска с нулевым кликом. Каждый из них вознаграждал практикующих, которые проверяли первоисточник вместо того, чтобы повторять номер заголовка. Видимость ИИ формируется таким же образом. Бренды, которые выиграют процесс исчезновения, который задокументировал Clovion, не будут теми, у кого будет лучший пресс-релиз о своей стратегии обзора ИИ. Именно они прочитают отчет достаточно внимательно, чтобы задаться вопросом, что за “33” действительно имел в виду, и кто продолжает задавать этот вопрос после этого.
Захир Хасан — главный операционный директор компании Clovion AI, базирующейся в Осло, Норвегия. Исправленная версия книги «Surviving the AI Funnel» от Clovion. согласно цифрам в этой колонке, ожидается на этой неделе.
