Google незаметно опубликовал исследовательскую работу по персонализированной семантике для рекомендательных систем, таких как Google Discover и YouTube.
Google опубликовал исследовательскую работу о том, как помочь рекомендательным системам понять, что имеют в виду пользователи, когда взаимодействуют с ними. Их цель в этом новом подходе — преодолеть ограничения, присущие современным рекомендательным системам, чтобы получить более точное и детальное понимание того, что пользователи хотят читать, слушать или смотреть на индивидуальном уровне.
Персонализированная семантика
<п>Рекомендательные системы предсказывают, что пользователь хотел бы прочитать или посмотреть дальше. YouTube, Google Discover и Google News являются примерами рекомендательных систем для рекомендации контента пользователям. Другими видами рекомендательных систем являются рекомендации по покупкам.
Системы рекомендаций обычно работают, собирая данные о том, на что пользователь нажимает, оценивает, покупает и смотрит, а затем используют эти данные, чтобы предлагать больше контента, соответствующего предпочтениям пользователя.
<п>Направленные исследователи называют такие сигналы примитивной обратной связью с пользователем, потому что они не так хороши в рекомендациях, основанных на субъективном суждении человека о том, что смешно, мило или скучно.
Интуиция, лежащая в основе исследования, заключается в том, что развитие LLM дает возможность использовать взаимодействие на естественном языке, чтобы лучше понять, чего хочет пользователь, посредством определения семантического намерения.
Исследователи объясняют:
“Интерактивные рекомендательные системы стали многообещающей парадигмой, позволяющей преодолеть ограничения примитивной обратной связи с пользователем, используемой традиционными рекомендательными системами (например, клики, потребление предметов, рейтинги). Они позволяют пользователям более подробно выражать намерения, предпочтения, ограничения и контекст, часто используя естественный язык (включая фасетный поиск и диалог).
<п>Однако необходимы дополнительные исследования, чтобы найти наиболее эффективные способы использования этой обратной связи. Одной из проблем является определение семантического намерения пользователя на основе открытых терминов или атрибутов, часто используемых для описания желаемого элемента. Это критически важно для рекомендательных систем, которые хотят поддерживать пользователей в их повседневном, интуитивном использовании естественного языка для уточнения результатов рекомендаций.”
Испытание мягких атрибутов
<п>Исследователи объяснили, что жесткие атрибуты — это то, что могут понять рекомендательные системы, поскольку они являются объективными базовыми истинами, такими как «жанр, художник, режиссер». У них были проблемы с другими видами атрибутов, называемыми «мягкими атрибутами». которые носят субъективный характер и не могут быть сопоставлены с фильмами, контентом или товарами.
В исследовательской работе указаны следующие характеристики мягких атрибутов:
<блоковая цитата> <ул>
<п>Проблема мягких атрибутов — это проблема, которую исследователи намеревались решить, и почему исследовательская работа называется «Обнаружение персонализированной семантики мягких атрибутов в рекомендательных системах с использованием векторов активации концепций».
Новое использование векторов активации концепций (CAV)
Векторы активации концепции (CAV) — это способ исследовать модели ИИ, чтобы понять математические представления (векторы), которые модели используют внутри себя. Они дают людям возможность связать эти внутренние векторы с концепциями.
<п>Таким образом, стандартным направлением CAV является интерпретация модели. Исследователи изменили это направление, и теперь цель состоит в том, чтобы интерпретировать пользователей, переводя субъективные мягкие атрибуты в математические представления для рекомендательных систем. Исследователи обнаружили, что адаптация CAV для интерпретации пользователей позволила использовать векторные представления, которые помогли моделям ИИ обнаруживать тонкие намерения и субъективные человеческие суждения, персонализированные для каждого человека.
Как пишут:
“Мы демонстрируем … что наше представление CAV не только точно интерпретирует информацию пользователей’ субъективная семантика, но также может использоваться для улучшения рекомендаций посредством интерактивной критики элементов.”
Например, модель может узнать, что пользователи подразумевают разные вещи под словом «смешно». и сможете лучше использовать эту персонализированную семантику при выработке рекомендаций.
Проблема, которую решают исследователи, заключается в том, как преодолеть семантический разрыв между тем, как люди говорят, и тем, как «думают» рекомендательные системы.
<стр>Люди мыслят понятиями, используя расплывчатые или субъективные описания (называемые мягкими атрибутами).
Рекомендательные системы “think” в математике: они оперируют векторами (списками чисел) в многомерном «пространстве вложения».
<п>Тогда задача состоит в том, чтобы сделать субъективную человеческую речь менее двусмысленной, но без необходимости модифицировать или переобучать рекомендательную систему со всеми нюансами. CAV делают эту тяжелую работу.
Исследователи объясняют:
“…мы выводим семантику мягких атрибутов, используя представление, полученное самой моделью рекомендательной системы.”
Они перечисляют четыре преимущества своего подхода:
<блоковая цитата><п>“(1) Возможности модели рекомендательной системы направлены на прогнозирование предпочтений пользователя в отношении элементов без дальнейших попыток предсказать дополнительную побочную информацию (например, теги), что часто не улучшает производительность рекомендательной системы.
(2) Модель рекомендательной системы может легко адаптировать новые атрибуты без переобучения, если появятся новые источники тегов, ключевых слов или фраз, из которых можно получить новые мягкие атрибуты.
(3) Наш подход предлагает средства проверки того, имеют ли определенные мягкие атрибуты отношение к прогнозированию предпочтений пользователя. Таким образом, мы можем сосредоточить внимание на атрибутах, наиболее важных для понимания намерений пользователя (например, при объяснении рекомендаций, выявлении предпочтений или предложении критики).
(4) Можно изучить мягкую семантику атрибутов/тегов с относительно небольшими объемами размеченных данных в духе предварительного обучения и обучения за несколько шагов.”
<п><эм>Затем они дают общее объяснение того, как работает система:
“На высоком уровне наш подход работает следующим образом. мы предполагаем, что нам дано:
(i) модель в стиле совместной фильтрации (например, вероятностная матричная факторизация или двойной кодировщик), которая встраивает элементы и пользователей в скрытое пространство на основе рейтингов пользовательских элементов; и
(ii) (небольшой) набор тегов (т. е. мягких меток атрибутов), предоставляемый подмножеством пользователей для подмножества элементов.
<п>Мы разрабатываем методы, которые связывают с каждым элементом степень проявления мягкого атрибута, тем самым определяя семантику этого атрибута. Мы делаем это, применяя векторы активации понятий (CAV) — недавний метод, разработанный для интерпретируемости моделей машинного обучения — к модели совместной фильтрации, чтобы определить, заучила ли она представление атрибута.
<п>Проекция этого CAV в пространстве внедрения обеспечивает (локальную) направленную семантику атрибута, которую затем можно применять к элементам (и пользователям). Кроме того, этот метод можно использовать для определения субъективной природы атрибута, в частности, того, имеют ли разные пользователи разные значения (или смыслы тега) при использовании этого тега. Такая персонализированная семантика субъективных атрибутов может иметь жизненно важное значение для правильной интерпретации истинных намерений пользователя при попытке оценить его предпочтения».
Работает ли эта система?
Одним из интересных результатов является то, что их тест искусственного тега (нечетный год) показал, что уровень точности системы едва превышал случайный выбор, что подтвердило их гипотезу о том, что «CAV полезны для идентификации атрибутов/тегов, связанных с предпочтениями».
<п>Они также обнаружили, что использование CAV в рекомендательных системах полезно для понимания “основанного на критике” поведение пользователей и усовершенствовали подобные системы рекомендаций.
Исследователи перечислили четыре преимущества:
“(i) использование представления совместной фильтрации для определения атрибутов, наиболее важных для задачи рекомендации;
<стр>(ii) различение объективного и субъективного использования тегов;
(iii) идентификация персонализированной, специфичной для пользователя семантики субъективных атрибутов; и
(iv) связывает семантику атрибутов с представлениями предпочтений, что позволяет взаимодействовать с использованием мягких атрибутов/тегов при критике примеров и других формах выявления предпочтений.”
<п>Они обнаружили, что их подход улучшил рекомендации для ситуаций, когда важно обнаружение мягких атрибутов. Использование этого подхода для ситуаций, в которых жесткие атрибуты являются более нормой, например, при покупке продуктов, является будущей областью исследования, чтобы увидеть, помогут ли мягкие атрибуты в выработке рекомендаций по продуктам.
<ч2>Вынос <стр>Исследовательская работа была опубликована в 2024 году, и мне пришлось покопаться, чтобы найти ее, что может объяснить, почему она осталась незамеченной в сообществе поискового маркетинга.
Google протестировал некоторые из этих подходов с помощью алгоритма под названием WALS (взвешенные альтернативные наименьшие квадраты), реального производственного кода, который является продуктом в Google Cloud для разработчиков.
<стр>Два примечания в сноске и в приложении поясняют:
“CAV в данных MovieLens20M с линейными атрибутами используют встраивания, которые были изучены (через WALS) с использованием внутреннего производственного кода, который не подлежит выпуску.”
<п>…Линейные вложения были изучены (через WALS, Приложение A.3.1) с использованием внутреннего производственного кода, который не подлежит выпуску.”
“Производственный код” относится к программному обеспечению, которое в настоящее время работает в продуктах Google, ориентированных на пользователя, в данном случае Google Cloud. Скорее всего, это не базовый движок Google Discover, однако важно отметить это, поскольку он показывает, насколько легко его можно интегрировать в существующую систему рекомендаций.
Они протестировали эту систему, используя набор данных MovieLens20M, который представляет собой общедоступный набор данных из 20 миллионов оценок, причем некоторые тесты проводились с помощью собственной системы рекомендаций Google (WALS). Это подтверждает вывод о том, что этот код можно использовать в работающей системе без необходимости его переобучения или модификации.
Вывод, который я вижу в этой исследовательской статье, заключается в том, что это позволяет рекомендательным системам использовать семантические данные о мягких атрибутах. Google Discover рассматривается Google как подмножество поиска, а шаблоны поиска — это часть данных, которые система использует для отображения контента. Google не сообщает, используют ли они этот метод, но, учитывая положительные результаты, вполне возможно, что этот подход можно будет использовать в рекомендательных системах Google. Если это так, то это означает, что рекомендации Google могут быть более отзывчивыми к потребностям пользователей. субъективная семантика.
В исследовательской работе упоминаются Google Research (60% баллов), а также Amazon, Midjourney и Meta AI.
Файл PDF доступен здесь:
