Microsoft расширяет возможности поиска Bing новыми языковыми моделями, заявляя, что это позволит снизить затраты и обеспечить более быстрые и точные результаты.

• Bing объединяет большие и малые языковые модели для улучшения поиска.
• Используя технологию NVIDIA, Bing снизил эксплуатационные расходы и уменьшил задержку.
• Bing утверждает, что обновление повышает скорость без ущерба для качества результатов.

Microsoft объявила об обновлениях поисковой инфраструктуры Bing, включающих большие языковые модели (LLM), малые языковые модели (SLM) и новые методы оптимизации.

Это обновление направлено на повышение производительности и снижение затрат на доставку результатов поиска.

В объявлении компания заявляет:

“В Bing мы всегда расширяем границы технологий поиска. Использование как моделей большого языка (LLM), так и моделей малого языка (SLM) знаменует собой важную веху в расширении наших возможностей поиска. Хотя модели-трансформеры сослужили нам хорошую службу, растущая сложность поисковых запросов потребовала более мощных моделей.”

<ч2>Прирост производительности <стр>Использование LLM в поисковых системах может создать проблемы со скоростью и стоимостью.

Чтобы решить эти проблемы, Bing обучил SLM, которые, по их утверждению, работают в 100 раз быстрее, чем LLM.

<п>В объявлении говорится:

“LLM могут быть дорогими в обслуживании и медленными. Чтобы повысить эффективность, мы обучили модели SLM (пропускная способность примерно в 100 раз выше по сравнению с LLM), которые более точно обрабатывают и понимают поисковые запросы.”

Bing также использует NVIDIA TensorRT-LLM для улучшения работы SLM.

<п>TensorRT-LLM — это инструмент, который помогает сократить время и стоимость запуска больших моделей на графических процессорах NVIDIA.

Влияние на “Глубокий поиск”

Согласно техническому отчету Microsoft, интеграция технологии Nvidia TensorRT-LLM улучшила возможности “Deep Search” функция.

<стр>Глубокий поиск использует SLM в режиме реального времени для предоставления релевантных результатов в Интернете.

До оптимизации исходная модель преобразователя Bing имела задержку 95-го процентиля 4,76 секунды на пакет (20 запросов) и пропускную способность 4,2 запроса в секунду на экземпляр.

С помощью TensorRT-LLM задержка сократилась до 3,03 секунды на пакет, а пропускная способность увеличилась до 6,6 запросов в секунду на экземпляр.

Это означает <сильное>36% снижение задержки и <сильное>57% снижение эксплуатационных расходов.

Компания заявляет:

“… Наш продукт создан на основе обеспечения наилучших результатов, и мы не идем на компромисс в отношении качества ради скорости. Именно здесь в игру вступает TensorRT-LLM, сокращающий время вывода модели и, следовательно, сквозную задержку без ущерба для качества результата.”

Преимущества для пользователей Bing

Это обновление приносит пользователям Bing несколько потенциальных преимуществ:

<ул>

• Более быстрые результаты поиска с оптимизированным выводом и меньшим временем ответа
• Повышенная точность за счет расширенных возможностей моделей УУЗР, обеспечивающих более контекстуализированные результаты
• Эффективность затрат, позволяющая Bing инвестировать в дальнейшие инновации и улучшения

Почему Bing переходит на модели LLM/SLM так важно

Переход Bing на модели LLM/SLM и оптимизацию TensorRT может повлиять на будущее поиска.

Поскольку пользователи задают более сложные вопросы, поисковым системам необходимо лучше понимать и быстрее предоставлять релевантные результаты. Bing стремится сделать это, используя меньшие языковые модели и передовые методы оптимизации.

<стр>Хотя нам придется подождать и увидеть полный эффект, шаг Бинга создает основу для новой главы в поиске.