<стр.>Brave отвечает на вопросы о своей новой поисковой системе с искусственным интеллектом и предлагает идеи о том, что следует знать оптимизаторам и онлайн-бизнесу

Brave анонсировали свою новую поисковую систему с искусственным интеллектом, ориентированную на конфиденциальность, под названием Answer with AI, которая работает с собственным поисковым индексом миллиардов веб-сайтов. Их текущая поисковая система уже обслуживает 10 миллиардов поисковых запросов в год, а это означает, что поисковая система Brave на основе искусственного интеллекта теперь является одной из крупнейших поисковых систем с искусственным интеллектом в Интернете.

<п>Многие представители сообществ поискового маркетинга и электронной коммерции выразили беспокойство по поводу будущего Интернета из-за поисковых систем с искусственным интеллектом. Поисковая система Brave с искусственным интеллектом по-прежнему показывает ссылки и, что наиболее важно, по умолчанию не отвечает на коммерческие или транзакционные запросы с помощью искусственного интеллекта, что должно быть хорошей новостью для SEO-специалистов и онлайн-бизнеса. Brave ценит веб-экосистему и будет отслеживать структуру посещений веб-сайтов.

<п>Search Engine Journal поговорил с Жозепом М. Пухолем, руководителем отдела поиска в Brave, который ответил на вопросы о поисковом индексе, о том, как он работает с искусственным интеллектом, и, самое главное, поделился тем, что нужно знать оптимизаторам и владельцам бизнеса, чтобы улучшить рейтинг.

Ответить с помощью ИИ от Brave

В отличие от других поисковых решений на основе искусственного интеллекта, поисковая система Brave с искусственным интеллектом полностью работает на основе собственного поискового индекса сканируемых и ранжируемых веб-сайтов. Вся базовая технология, от поискового индекса до больших языковых моделей (LLM) и даже технологии поискового расширенного поколения (RAG), разработана Brave. Это особенно хорошо с точки зрения конфиденциальности, а также делает результаты поиска Brave уникальными, еще больше отличая его от других альтернативных поисковых систем.

Технологии поиска

Сама поисковая система полностью сделана собственными силами. По словам Хосепа М. Пужоля, начальника отдела поиска Brave:

“У нас есть доступ во время запроса ко всем нашим индексам, более 20 миллиардов страниц, что означает, что мы извлекаем произвольную информацию в режиме реального времени (схемы, таблицы , фрагменты, описания и т. д.). Кроме того, мы очень детально определяем, какие данные использовать: от целых абзацев или текстов на странице до отдельных предложений или строк в таблице.

<п>Учитывая, что в нашем распоряжении имеется целая поисковая система, основное внимание уделяется не поиску, а отбору и ранжированию. Кроме того, для страниц нашего индекса у нас есть доступ к той же информации, которая используется для ранжирования, например, оценки, популярность и т. д. Это очень важно, чтобы помочь выбрать, какие источники более релевантны.”

Дополненная генерация с поиском (RAG)

Поисковая система работает следующим образом: она имеет поисковый индекс и большие языковые модели, а также технологию поиска дополненной генерации (RAG), которая сохраняет ответы свежими и основанными на фактах. Я спросил о RAG, и Хосеп подтвердил, что именно так это и работает.

<п><эм>Он ответил: <блоковая цитата><п>“Вы правы, наша новая функция использует RAG. Фактически, мы уже использовали этот метод в нашей предыдущей функции Summarizer, выпущенной в марте 2023 года. Однако в этой новой функции мы расширяем как количество, так и качество данных, используемых в содержании подсказка.”

Используются модели на большом языке

<стр>Я спросил о языковых моделях, используемых в новой поисковой системе ИИ, и о том, как они используются. <блоковая цитата><п>“Модели развертываются на экземплярах AWS p4 с помощью VLLM.

В качестве основной модели LLM мы используем комбинацию Mixtral 8x7B и Mistral 7B.

Однако мы также запускаем несколько специально обученных моделей преобразователей для вспомогательных задач, таких как семантическое сопоставление и ответы на вопросы. Эти модели намного меньше из-за строгих требований к задержке (10-20 мс).

Эти вспомогательные задачи имеют решающее значение для нашей функции, поскольку именно они выполняют выбор данных, которые в конечном итоге появятся в последнем приглашении LLM; Эти данные могут представлять собой зависящие от запроса фрагменты текста, схемы, табличные данные или внутренние структурированные данные, поступающие из наших расширенных фрагментов кода. Речь идет не о возможности получения большого количества данных, а о выборе кандидатов для добавления в контекст подсказки.

<п>Например, запрос “президенты Франции по партиям” обрабатывает 220 КБ необработанных данных, включая 462 строки, выбранные из 47 таблиц, 7 схем. Размер приглашения составляет около 6500 токенов, а окончательный ответ — всего 876 байт.

Короче говоря, можно сказать, что с помощью “Ответить с помощью AI” мы переходим от 20 миллиардов страниц к нескольким тысячам токенов.”

Как ИИ работает с результатами локального поиска

<п>Затем я спросил о том, как новая поисковая система будет обеспечивать локальный поиск. Я спросил Жозепа, может ли он поделиться некоторыми сценариями и примерами запросов, в которых система ответов ИИ будет выявлять местные предприятия. Например, если я запрошу лучшие гамбургеры в Сан-Франциско, предоставит ли система ответов искусственного интеллекта ответ и ссылки на него ? Будет ли это полезно для людей, планирующих деловые поездки или поездки в отпуск ?

Джозеп ответил:

“Индекс Brave Search содержит более 1 миллиарда схем на основе местоположения, из которых мы можем извлечь более 100 миллионов компаний и других объектов интереса. <п>Ответ с помощью ИИ — это общий термин, обозначающий поиск + LLM + несколько специализированных моделей и сервисов машинного обучения для поиска, ранжирования, очистки, объединения и представления информации. Мы упоминаем об этом, потому что LLM не принимают все решения. На данный момент мы используем их преимущественно для синтеза неструктурированной и структурированной информации, что происходит как в автономных операциях, так и во время запроса.

Иногда кажется, что конечный результат сильно зависит от LLM (это тот случай, когда мы считаем, что ответ на вопрос пользователя представляет собой единственную точку интереса, например, “checkin Faro Kitchen”, и в других случаях их работа более тонкая (например, ”лучшие гамбургеры в мире”), создание описания бизнеса на основе различных веб-ссылок или объединение категории бизнеса в единую таксономию.”

Советы по повышению рейтинга

<стр>Далее я спросил, полезно ли использование структурированных данных Schema.org для повышения рейтинга сайта в Brave и есть ли у него какие-либо другие советы по SEO и онлайн-бизнесу. <п><эм>Он ответил:

“Определенно, мы уделяем особое внимание структурированным данным Schema.org при оперативном построении контекста LLM. Лучше всего иметь структурированные данные о своем бизнесе (стандартные схемы с сайта Schema.org). Чем полнее будут эти схемы, тем точнее будет ответ.

Тем не менее, наш Ответ с ИИ сможет отображать данные о бизнесе и не в этих схемах, но всегда желательно повторять информацию в разных форматах.

<п>Некоторые компании полагаются только на агрегаторы (Yelp, Tripadvisor, Желтые страницы) для получения своей деловой информации. Добавление схем на веб-сайт компании дает преимущества, даже если они предназначены только для сканирования ботов.”

Планы по поиску ИИ в браузере Brave

Brave поделились, что в какой-то момент в ближайшем будущем они интегрируют новую функцию поиска AI непосредственно в браузер Brave.

Джозеп объяснил:

<блоковая цитата><п>“Мы планируем очень скоро интегрировать систему ответов AI с Brave Leo (помощником AI, встроенным в браузер Brave). У пользователей будет возможность отправить ответ Лео и продолжить сеанс там.”

Другие факты

В объявлении Brave также были приведены следующие факты о новой поисковой системе:

“Brave Search’генеративные ответы — это не просто текст. Глубокая интеграция между индексом и моделью позволяет нам комбинировать онлайновые, контекстные, именованные сущности (процесс, который добавляет больше контекста к человеку, месту или предмету) по мере генерации ответа. Это означает, что ответы сочетают генеративный текст с другими типами мультимедиа, включая информационные карточки и изображения.

Система ответов Brave Search может даже объединять данные из индекса и географические результаты, чтобы предоставить обширную информацию о достопримечательностях. На сегодняшний день индекс Brave Search содержит более 1 миллиарда схем, основанных на местоположении, из которых мы можем извлечь более 100 миллионов компаний и других точек интереса. Эти списки —больше, чем любой общедоступный набор данных—означают, что система ответов может предоставлять подробные и мгновенные результаты по достопримечательностям по всему миру.”

<стр>Читать официальное объявление:

Попробуйте новый поиск ИИ на http://search.brave.com/