Исследование Google показывает, что выпускникам LLM трудно вспомнить факты, когда вопросы меняют обычный порядок субъект/объект.

Google опубликовал новое исследование, в котором выяснилось, что пограничные LLM кодируют 95–98% проверенных фактов, но не могут напрямую вспомнить 26–34% в ответах на запросы. Частично проблема заключается в том, что припоминание становится более трудным, когда вопросы меняют порядок субъект/объект, в котором факт встречался в процессе обучения.

Параметрическая информация

Параметрическая информация – это, по сути, информация, которую LLM закодировали во время обучения. Эта информация поступает с веб-страниц, из текстов песен, книг, инструкций, кода и всего остального, чему обучался LLM. <п>Вопрос, на который исследователи пытались ответить, заключался в следующем: почему студенты LLM не могут вспомнить часть информации, которой их обучали? Раньше считалось, что, возможно, LLM не обучались достаточному количеству информации, но исследователи обнаружили, что это не всегда так для передовых LLM.

Исследователи объясняют, что кодирование является насыщенным, а это означает, что информация, необходимая для ответов на вопросы, обычно уже находится в LLM.

Они пишут:

<блоковая цитата><п>“Кодирование насыщено; вспомнить нет. Для передовых LLM, таких как Gemini-3-Pro и GPT-5, фактическое кодирование близко к насыщению: закодировано 95–98% фактов. Однако эти модели не могут напрямую вспомнить 26–34% фактов или 11–12% даже с помощью размышлений.

Соответственно, сбои отзыва составляют более 70% ошибок GPT-5.2 и большую долю в более сильных моделях, что позволяет предположить, что отзыв действительно является узким местом.”

Это означает, что узким местом является не то, что передовые LLM не располагают достаточным количеством фактов и информации. Узким местом является доступ к этой информации.

Субъекты и объекты

<п>Любопытное открытие исследования заключается в том, что одна из причин, по которой студенты LLM не смогли вспомнить конкретные факты, заключается в том, что субъектная сущность и объектная сущность, относящиеся к факту, были изучены в определенном порядке. Когда в LLM передается запрос, содержащий обратный порядок, LLM с трудом запоминает этот факт, поскольку он был изучен в другом порядке.

В исследовательской работе объясняется, что такое субъект и объект:

“Роли субъекта и объекта определяются исходным текстом, из которого был извлечен факт (например, документ Википедии): субъект — это сущность, которая появляется в тексте первой, а объект появляется позднее.”

<п>Затем он объясняет, что это значит, меняя местами субъект и объект:

“Вопрос, ответом на который является объект, называется прямым вопросом, а вопрос, ответом на который является субъект, называется обратным вопросом.”

В объяснителе Google используется следующий пример для иллюстрации пары субъект/объект:

“Oasis отыграли свой первый концерт в клубе Boardwalk.”

В приведенном выше примере “Oasis” является субъектом деятельности и “клубом Boardwalk” является объектной сущностью.

Итак, на примере “Oasis” и «клуб Boardwalk», когда эти пары последовательно появляются первыми с Oasis, LLM испытывает неспособность вспомнить факт, когда в запросе субъект/объект перепутаны.

А вот и еще одно любопытное открытие. LLM способен распознать тот факт, когда перевернутые сущности субъекта и объекта представлены среди альтернатив в вопросе с несколькими вариантами ответов.

Исследователи не объясняют, почему LLM способен распознавать ответ, когда он является частью вопроса с несколькими вариантами ответов. Они используют это как доказательство того, что ответ закодирован в LLM и узнаваем.

Формулировка вопроса не оказала существенного влияния на припоминание

<п>Исследователи, участвовавшие в тестировании, выяснили, повлияло ли перефразирование вопросов на способность выпускников LLM вспоминать факты. Они обнаружили, что это существенно не повлияло на способность модели вспомнить факт. Что действительно имело значение, так это изменение порядка субъект/объект.

Факты с длинным хвостом трудно вспомнить

<п>Еще один интересный вывод заключается в том, что передовые студенты-магистры права испытывали трудности с фактами с длинным хвостом, которые исследователи назвали редкими фактами. Разрыв между кодированием популярных и редких фактов был небольшим, но при запоминании он был больше. Неспособность вспомнить редкие факты часто происходила не из-за того, что студенты-магистры не усвоили информацию. Они просто столкнулись с узким местом на этапе отзыва.

Проверенное решение: больше размышлений

Исследователи проверили мышление на припоминание фактов и обнаружили, что LLM способны вспомнить 40–65% закодированных фактов, которые раньше нельзя было вспомнить напрямую. Обратной стороной большего мышления является то, что оно требует больших вычислительных затрат. Исследователи также отмечают, что существует дополнительная проблема: когда следует начать больше думать.

Масштабирование обучения LLM не является решением

Наконец, исследователи отметили, что масштабирование пограничных LLM не является решением проблемы отзыва.

SEO и пары объектов субъект/объект

Интуиция относительно порядка пар сущностей субъекта и объекта заключается в том, что может быть полезно упорядочить их в соответствии с наиболее распространенным способом их упорядочивания в запросах. В исследовательской работе этого нет. И это не то, что доказано. Но интуитивно может оказаться разумным упорядочить субъектные сущности и объектные сущности в соответствии с их наиболее распространенной парой порядка.

Хотя в исследовательской работе не говорится, что общий порядок этих объектов поможет LLM выбрать конкретную веб-страницу, это разумная гипотеза с точки зрения   взгляд на SEO.

<стр>Исследовательская работа называется «Пустые полки или потерянные ключи»? Напоминание — узкое место для параметрической фактологии (PDF) <стр>Пояснение Google называется: Почему не удается вспомнить?