Google BlockRank оказался конкурентоспособным по сравнению с другими современными моделями ранжирования, протестированными в ходе исследований.
Новая исследовательская работа от Google DeepMind предлагает новый алгоритм ранжирования поиска под названием BlockRank, который работает настолько хорошо, что делает расширенное ранжирование семантического поиска доступным для отдельных лиц и организаций. Исследователи приходят к выводу, что это «может демократизировать доступ к мощным инструментам поиска информации».
Рейтинг в контексте (ICR)
<стр>В исследовательской статье описывается прорыв в использовании контекстного ранжирования (ICR), способа ранжирования веб-страниц с использованием возможностей контекстного понимания большой языковой модели. <п><эм>Он запрашивает модель:
<ол>
ICR — это относительно новый подход, впервые исследованный исследователями из Google DeepMind и Google Research в 2024 году (Can Long-Context Language Models Subsume Retrival, RAG, SQL и многое другое? PDF). Это более раннее исследование показало, что ICR может соответствовать производительности поисковых систем, созданных специально для поиска.
Но у этого улучшения есть и обратная сторона: оно требует увеличения вычислительной мощности по мере увеличения количества ранжируемых страниц.
Когда большая языковая модель (LLM) сравнивает несколько документов, чтобы решить, какие из них наиболее релевантны запросу, она должна “обращать внимание” каждому слову в каждом документе и тому, как каждое слово соотносится со всеми остальными. Этот процесс внимания становится намного медленнее по мере добавления новых документов, поскольку объем работы растет в геометрической прогрессии.
Новое исследование решает эту эффективную проблему, поэтому исследовательская работа называется «Масштабируемое контекстное ранжирование с помощью генеративных моделей», потому что оно показывает, как масштабировать внутриконтекстное ранжирование (ICR) с помощью того, что они называют BlockRank.
Как разрабатывался BlockRank
<п>Исследователи изучили, как модель на самом деле использует внимание во время контекстного поиска, и обнаружили две закономерности:
. <ул>
Исследователи обнаружили, что когда модель считывает группу документов, она имеет тенденцию сосредотачиваться главным образом на каждом документе отдельно, а не сравнивать их все друг с другом. Они называют это «разреженностью блоков». это означает, что между различными документами мало прямого сравнения. Опираясь на это понимание, они изменили способ считывания входных данных моделью, чтобы она просматривала каждый документ отдельно, но при этом сравнивала их все с задаваемым вопросом. Это сохраняет важную часть, сопоставляя документы с запросом, пропуская при этом ненужные сравнения документов. В результате система работает намного быстрее без потери точности.
Когда LLM читает запрос, он не считает каждое слово в этом вопросе одинаково важным. Некоторые части вопроса, например конкретные ключевые слова или знаки препинания, которые сигнализируют о намерении, помогают модели решить, какой документ заслуживает большего внимания. Исследователи обнаружили, что внутренние модели внимания модели, в частности то, как определенные слова в запросе фокусируются на конкретных документах, часто совпадают с тем, какие документы релевантны. Такое поведение, которое они называют «релевантностью блока запроса-документа», ” стало тем, что исследователи могли научить модель использовать более эффективно.
<п>Исследователи определили эти две модели внимания, а затем разработали новый подход, основанный на том, что они узнали. Первая закономерность — разреженность блоков между документами — показала, что модель тратила вычисления напрасно, сравнивая документы друг с другом, когда эта информация была бесполезна. Второй шаблон, релевантность блока запроса-документа, показал, что определенные части вопроса уже указывают на правильный документ.
<стр>Основываясь на этих открытиях, они изменили способ управления вниманием модели и способы его обучения. Результатом является BlockRank, более эффективная форма контекстного поиска, которая отсекает ненужные сравнения и учит модель концентрироваться на том, что действительно сигнализирует о релевантности.
Бенчмаркинг точности рейтинга блоков
Исследователи проверили BlockRank на предмет того, насколько хорошо он ранжирует документы по трем основным критериям:
<ул> <ли>БЭИР<бр> Коллекция множества различных задач поиска и ответов на вопросы, используемых для проверки того, насколько хорошо система может находить и ранжировать релевантную информацию по широкому кругу тем.
<ли>МС МАРКО
Большой набор данных реальных поисковых запросов и отрывков Bing, используемый для измерения того, насколько точно система может ранжировать отрывки, которые лучше всего отвечают на вопрос пользователя.
Тест, созданный на основе реальных поисковых вопросов Google и предназначенный для проверки того, может ли система идентифицировать и ранжировать отрывки из Википедии, которые непосредственно отвечают на эти вопросы.
<п>Они использовали Mistral LLM с 7 миллиардами параметров и сравнили BlockRank с другими сильными моделями ранжирования, включая FIRST, RankZephyr, RankVicuna и полностью настроенным базовым уровнем Mistral.
BlockRank работал так же или даже лучше, чем эти системы во всех трех тестах, совпадая с результатами MS MARCO и Natural Questions и немного лучше по BEIR.
Исследователи объяснили результаты:
“Эксперименты на MSMarco и NQ показывают, что BlockRank (Mistral-7B) соответствует или превосходит стандартную эффективность тонкой настройки, будучи значительно более эффективным при выводе и обучении. Это предлагает масштабируемый и эффективный подход к ICR на основе LLM.”
<п>Они также признали, что не тестировали несколько LLM и что эти результаты специфичны для Mistral 7B.
Используется ли BlockRank Google?
В исследовательской работе ничего не говорится о его использовании в реальной среде. Так что говорить о том, что его можно использовать, — это чисто предположение. Кроме того, вполне естественно попытаться определить, где BlockRank вписывается в режим AI или обзоры AI, но описания того, как работают FastSearch и RankEmbed в режиме AI, сильно отличаются от того, что делает BlockRank. Так что маловероятно, что BlockRank связан с FastSearch или RankEmbed.
Почему BlockRank — это прорыв
<стр>В исследовательской работе говорится, что это прорывная технология, которая делает продвинутую систему ранжирования доступной для отдельных лиц и организаций, которые обычно не могут иметь такую высококачественную технологию ранжирования.
Исследователи объясняют:
“Методология BlockRank, повышая эффективность и масштабируемость контекстного поиска (ICR) в моделях большого языка (LLM), делает расширенный семантический поиск более управляемым с вычислительной точки зрения и может демократизировать доступ к мощным инструментам обнаружения информации. Это может ускорить исследования, улучшить результаты образования за счет быстрого предоставления более актуальной информации и расширить возможности отдельных лиц и организаций по принятию решений.
Кроме того, повышенная эффективность напрямую приводит к снижению энергопотребления для ресурсоемких приложений LLM, что способствует более экологически устойчивой разработке и внедрению искусственного интеллекта.
Включив эффективный ICR на потенциально меньших или более оптимизированных моделях, BlockRank также может расширить сферу применения этих технологий в средах с ограниченными ресурсами.”
SEO и издатели могут свободно высказывать свое мнение о том, может ли это использоваться Google. Я не думаю, что этому есть доказательства, но было бы интересно спросить об этом гуглера.
Похоже, что Google находится в процессе размещения BlockRank на GitHub, но, похоже, там пока нет никакого кода.
