<стр>Узнайте, как использовать векторные базы данных для SEO с использованием искусственного интеллекта и улучшить свою контент-стратегию. Найдите наиболее близкое семантическое сходство для вашего целевого запроса с помощью эффективных векторных вложений.
<п>Векторная база данных представляет собой набор данных, в котором каждый фрагмент данных хранится как (числовой) вектор. Вектор представляет собой объект или сущность, например изображение, человека, место и т. д. в абстрактном N-мерном пространстве.
Векторы, как объяснялось в предыдущей главе, имеют решающее значение для определения того, как связаны сущности, и могут использоваться для поиска их семантического сходства. Это можно применить несколькими способами для SEO: например, группировка похожих ключевых слов или контента (с использованием kNN).
<стр>В этой статье мы собираемся изучить несколько способов применения ИИ в SEO, включая поиск семантически схожего контента для внутренних ссылок. Это может помочь вам усовершенствовать вашу контент-стратегию в эпоху, когда поисковые системы все больше полагаются на LLM.
<стр>Вы также можете прочитать предыдущую статью из этой серии о том, как обнаружить каннибализацию ключевых слов с помощью встраивания текста OpenAI. <стр>Давайте углубимся в это, чтобы начать создавать основу нашего инструмента.
Понимание векторных баз данных
Если у вас тысячи статей и вы хотите найти максимальное семантическое сходство для вашего целевого запроса, вы не можете создавать векторные вложения для всех из них на лету для сравнения, поскольку это крайне неэффективно. .
Чтобы это произошло, нам нужно будет сгенерировать векторные вложения только один раз и сохранить их в базе данных, к которой мы сможем запросить и найти наиболее подходящую статью.
И именно это и делают векторные базы данных: это специальные типы баз данных, в которых хранятся вложения (векторы).
Когда вы запрашиваете базу данных, в отличие от традиционных баз данных, они выполняют сопоставление по косинусному сходству и возвращают векторы (в данном случае статьи), ближайшие к другому запрашиваемому вектору (в данном случае ключевой фразе).
Вот как это выглядит:
Пример записи внедрения текста в векторную базу данных. <стр>В векторной базе данных вы можете видеть векторы вместе с хранящимися метаданными, к которым мы можем легко обращаться с помощью языка программирования по нашему выбору. <стр>В этой статье мы будем использовать Pinecone из-за его простоты понимания и использования, но есть и другие поставщики, такие как Chroma, BigQuery , или Qdrant вы можете захотеть проверить.
<стр>Давайте нырнем.
- 1. Понимание векторных баз данных
- 2. Создать векторную базу данных
- 3. Экспортируйте свои статьи из CMS
- 4. Вставка текстовых вложений OpenAi в векторную базу данных
- 5. Поиск соответствия статьи ключевому слову
- 6. Вставка текстовых вложений Google Vertex AI в базу данных векторов
- 7. Поиск соответствия статьи ключевому слову с помощью Google Vertex AI
- 8. Попробуйте проверить релевантность написанной вами статьи
1. Создать векторную базу данных
Сначала зарегистрируйте учетную запись в Pinecone и создайте индекс с конфигурацией “text-embedding-ada-002” с ‘косинусом’ в качестве метрики для измерения векторного расстояния. Вы можете назвать индекс как угодно, мы назовем егоarticle-index-all-ada‘.
Создание векторной базы данных.
Этот вспомогательный пользовательский интерфейс предназначен только для помощи вам во время настройки. Если вы хотите сохранить встраивание вектора Vertex AI, вам необходимо установить ‘dimensions’ до 768 на экране конфигурации вручную, чтобы соответствовать размерности по умолчанию, и вы можете сохранять текстовые векторы Vertex AI (вы можете установить любое значение размера от 1 до 768 для экономии памяти).
<п>В этой статье мы научимся использовать OpenAi’s ‘text-embedding-ada-002’ и Vertex AI от Google ‘text-embedding-005’ модели.
После создания нам понадобится ключ API, чтобы иметь возможность подключаться к базе данных с использованием URL-адреса хоста векторной базы данных.
Создать ключ API
URL-адрес хоста векторной базы данных
Далее вам понадобится Jupyter Notebook. Если он у вас не установлен, следуйте этому руководству, чтобы установить его, а затем запустите эту команду (ниже) на терминале вашего ПК, чтобы установить все необходимые пакеты.
pip install openai google-cloud-aiplatform google-auth pandas pinecone-client tabulate ipython numpy
И помните, ChatGPT очень полезен, когда вы сталкиваетесь с проблемами во время кодирования!
2. Экспортируйте свои статьи из вашей CMS
<п>Далее нам необходимо подготовить CSV-файл экспорта статей из вашей CMS. Если вы используете WordPress, вы можете использовать плагин для настройки экспорта.
<стр>Поскольку нашей конечной целью является создание внутреннего инструмента связывания, нам необходимо решить, какие данные следует отправить в векторную базу данных в качестве метаданных. По сути, фильтрация на основе метаданных действует как дополнительный уровень руководства по поиску, согласовывая его с общей структурой RAG путем включения внешних знаний, что поможет улучшить качество поиска.
<стр>Например, если мы редактируем статью на сайте “PPC” и хотите вставить ссылку на фразу “Keyword Research” мы можем указать в нашем инструменте, что “Category=PPC.” Это позволит инструменту запрашивать только статьи внутри “PPC” категорию, обеспечивая точные и контекстуально релевантные ссылки, или мы можем захотеть дать ссылку на фразу “последнее обновление Google” и ограничьте совпадение только новостными статьями, используя ‘Type’ и опубликовано в этом году.
В нашем случае мы будем экспортировать:
<ул>
<п>Чтобы получить наилучшие результаты, мы бы объединили поля заголовка и метаописания, поскольку они являются лучшим представлением статьи, которую мы можем векторизовать, и идеально подходят для встраивания и внутренних ссылок.
Использование полного содержания статьи для встраивания может снизить точность и снизить релевантность векторов.
Это происходит потому, что одно большое вложение пытается представить несколько тем, затронутых в статье одновременно, что приводит к менее целенаправленному и релевантному представлению. Необходимо применять стратегии разбивки на части (разделение статьи по естественным заголовкам или семантически значимым сегментам), но это не является целью данной статьи.
Вот образец файла экспорта, который вы можете скачать и использовать для нашего примера кода ниже.
2. Вставка текстовых вложений OpenAi в базу данных векторов
<п>Предполагая, что у вас уже есть ключ API OpenAI, этот код сгенерирует векторные вложения из текста и вставит их в базу данных векторов в Pinecone.
<п>импортировать панды как pd из openai импорт OpenAI из импорта шишки Шишка из IPython.display импорт clear_output # Настройте ключи API OpenAI и Pinecone openai_client = OpenAI(api_key='YOUR_OPENAI_API_KEY') # Создать экземпляр клиента OpenAI сосновая шишка = Сосновая шишка(api_key='YOUR_PINECON_API_KEY') # Подключиться к существующему индексу Pinecone index_name = “article-index-all-ada” индекс = шишка.Индекс(имя_индекса) def generate_embeddings(текст): “”” Генерирует встраивание для заданного текста с использованием API OpenAI. Возвращает None, если текст недействителен или произошла ошибка. “”” пытаться: если не текст или не isinstance(текст, строка): raise ValueError(“Входной текст должен быть непустой строкой.”) результат = openai_client.embeddings.create( ввод=текст, модель=”встраивание-текста-ada-002″ ) clear_output(wait=True) # Очистить вывод для нового отображения если hasattr(результат, 'данные') и len(результат.данные) > 0: print(“Ответ API:”, результат) вернуть результат.данные[0].встраивание еще: raise ValueError(“Неверный ответ от API OpenAI. Данные не возвращены.”) за исключением ValueError как ve: print(f”ValueError: {ve}”) возврат Нет за исключением исключения как e: print(f”Произошла ошибка при генерации вложений: {e}”) возврат Нет # Загрузите ваши статьи из CSV df = pd.read_csv('Пример файла экспорта.csv') # Обработать каждую статью для idx, строка в df.iterrows(): пытаться: clear_output(ожидание=True) содержимое = строка[“Содержимое”] вектор = generate_embeddings(контент) если вектор равен None: print(f”Пропуск идентификатора статьи {row['ID']} из-за пустого или недопустимого встраивания.” ) продолжать индекс.upsert(векторы=[ ( row['Permalink'], # Уникальный идентификатор вектор, # Вложение { 'заголовок': строка['Заголовок'], 'категория': строка['Категория'], 'тип': строка['Тип'], 'publish_date': row['Дата публикации'], 'publish_year': row['Год публикации'] } ) ]) за исключением исключения как e: clear_output(ожидание=True) print(f”Ошибка обработки идентификатора статьи {row['ID']}: {str(e)}”) print(“Внедрения успешно сохранены в векторной базе данных.”). <стр>Вам необходимо создать файл блокнота, скопировать и вставить его туда, а затем загрузить CSV-файл ‘Sample Export File.csv’ в той же папке.
Проект Юпитер. <п>После этого нажмите кнопку «Выполнить», и все векторы встраивания текста начнут помещаться в индекс статьи-индекс-все-ада, который мы создали на первом этапе.
Запуск скрипта.
Вы увидите текст журнала вывода векторов внедрения. После завершения в конце появится сообщение об успешном завершении. Теперь идите и проверьте свой индекс в Сосновой шишке, и вы увидите, что ваши записи там.
3. Поиск соответствия статьи ключевому слову
Хорошо, давайте попробуем найти артикль, соответствующий ключевому слову.
Создайте новый файл блокнота, скопируйте и вставьте этот код.
<п>из openai импорт OpenAI из импортной шишки из IPython.display импортируйте Clear_output from tabulate import tabulate # Импортировать таблицу для форматирования таблицы # Настройте ключи API OpenAI и Pinecone. openai_client = OpenAI(api_key='YOUR_OPENAI_API_KEY') # Создать экземпляр клиента OpenAI сосновая шишка = сосновая шишка(api_key='YOUR_OPENAI_API_KEY') # Подключитесь к существующему индексу сосновой шишки index_name = “индекс-статьи-все-ада” index = сосновая шишка.Index(имя_индекса) # Функция для создания вложений с использованием API OpenAI Защиту генерировать_embeddings (текст): “”” Генерирует вложение для заданного текста с помощью API OpenAI. “”” пытаться: если не текст или не isinstance(text, str): поднять ValueError(“Входной текст должен быть непустой строкой.”) результат = openai_client.embeddings.create( ввод = текст, model=”text-embedding-ada-002″ ) # Отладка: распечатайте ответ, чтобы понять его структуру. Clear_output (подождите = Истина) #print(“Ответ API:”, результат) if hasattr(result, 'data') и len(result.data) > 0: вернуть результат.данные[0].встраивание еще: поднять ValueError(“Неверный ответ от OpenAI API. Данные не возвращены.”) кроме ValueError как ve: print(f”ValueError: {ve}”) возврат Нет кроме исключения как e: print(f”Произошла ошибка при создании вложений: {e}”) возврат Нет # Функция для запроса индекса шишки с ключевыми словами и метаданными Защиту match_keywords_to_index(ключевые слова): “”” Сопоставляет список ключевых слов с ближайшей статьей в индексе шишки, динамически фильтруя метаданные. “”” результаты = [] для ключевого слова_пара в ключевых словах: пытаться: Clear_output (подождите = Истина) # Извлекаем ключевое слово и категорию из подмассива ключевое слово = пара_ключевых слов[0] категория = пара_ключевых слов[1] # Генерируем встраивание для текущего ключевого слова вектор = генерировать_вложения (ключевое слово) если вектор Нет: print(f”Пропуск ключевого слова '{keyword}' из-за ошибки внедрения.”) продолжать # Запрос индекса шишки на предмет ближайшего вектора с фильтром метаданных query_results = index.query( вектор=вектор, # Встраивание ключевого слова top_k=1, # Получить только самое близкое совпадение include_metadata=True, # Включить метаданные в результаты filter={“category”:category} # Динамическая фильтрация результатов по категории метаданных ) # Сохраняем ближайшее совпадение если query_results['соответствует']: ближайшее_соответствие = query_results['соответствия'][0] результаты.append({ 'Ключевое слово': ключевое слово, # Ключевое слово для поиска 'Категория': категория, # Категория, используемая для фильтрации. 'Счет совпадения': f”{closest_match['score']:.2f}”, # Оценка сходства (в формате с двумя знаками после запятой) 'Title': close_match['metadata'].get('title', 'N/A'), # Название статьи 'URL': ближайший_match['id'] # Использование 'id' в качестве URL-адреса }) еще: результаты.append({ 'ключевое слово': ключевое слово, «Категория»: категория, «Счет матча»: «Н/Д», «Название»: «Соответствие не найдено», «URL»: «Н/Д» }) кроме исключения как e: Clear_output (подождите = Истина) print(f”Ошибка обработки ключевого слова '{keyword}' с категорией '{category}': {e}”) результаты.append({ 'ключевое слово': ключевое слово, «Категория»: категория, «Счет матча»: «Ошибка», «Название»: «Произошла ошибка», «URL»: «Н/Д» }) вернуть результаты # Пример использования: поиск совпадений по массиву ключевых слов и категорий. ключевые слова = [[“SEO Tools”, “SEO”], [“TikTok”, “TikTok”], [“SEO-консультант”, “SEO”]] # Замените своими ключевыми словами и категориями. совпадения = match_keywords_to_index(ключевые слова) # Отображение результатов в таблице print(tabulate(matches, headers=”keys”, tablefmt=”fancy_grid”))
Мы пытаемся найти соответствие этим ключевым словам:
<ул>
И вот результат, который мы получаем после выполнения кода:
Найдите совпадение ключевой фразы в базе данных векторов.
В таблице внизу показаны статьи, наиболее близкие к нашим ключевым словам.
4. Вставка текстов Google Vertex AI в базу данных векторов
Теперь давайте сделаем то же самое, но с Google Vertex AI ‘text-embedding-005’embedding. Эта модель примечательна тем, что она разработана Google, поддерживает Vertex AI Search и специально обучена для решения задач поиска и сопоставления запросов, что делает ее хорошо подходящей для нашего варианта использования.
Вы даже можете создать виджет внутреннего поиска и добавить его на свой сайт.
<п>Начните с входа в Google Cloud Console и создайте проект. Затем в библиотеке API найдите Vertex AI API и включите его.
Снимок экрана из Google Cloud Console, декабрь 2024 год <стр>Настройте свою учетную запись для выставления счетов, чтобы иметь возможность использовать Vertex AI, поскольку цена составляет 0,0002 доллара США за 1000 символов (и для новых пользователей предлагаются кредиты в размере 300 долларов США).
После того, как вы его настроите, вам нужно будет перейти к API Services > Учетные данные создают учетную запись службы, генерируют ключ и загружают их в формате JSON.
Шаг 1. Создайте учетную запись службы.
Шаг 2. Добавьте новый ключ на вкладке «Ключи» сервисного аккаунта.
Шаг 3. Создайте ключ JSON.
Переименуйте файл JSON в config.json и загрузите его (с помощью значка со стрелкой вверх) в папку проекта Jupyter Notebook.
Снимок экрана из Google Cloud Console, декабрь 2024 г.
На первом этапе настройки создайте новую базу данных векторов под названием Article-index-vertex, установив размерность 768 вручную.
После создания вы можете запустить этот скрипт, чтобы начать генерировать векторные вложения из того же файла примера с использованием модели Google Vertex AI text-embedding-005 (вы можете выбрать text-multilingual-embedding-002, если у вас нет -Английский текст).
<п>импортировать ОС импортировать систему время импорта импортировать numpy как np импортировать панд как pd от ввода списка импорта, необязательно из google.auth импортируйте load_credentials_from_file из google.cloud импортировать aiplatform из google.api_core.Exceptions import ServiceUnavailable из импортной шишки из vertexai.language_models импорт TextEmbeddingModel, TextEmbeddingInput # Настройте свои учетные данные Google Cloud os.environ[“GOOGLE_APPLICATION_CREDENTIALS”] = “config.json” # Замените файлом ключей JSON. учетные данные, project_id = load_credentials_from_file(os.environ[“GOOGLE_APPLICATION_CREDENTIALS”]) # Инициализировать шишку сосновая шишка = Pinecone(api_key='YOUR_PINECON_API_KEY') # Замените ключом API сосновой шишки index = pinecone.Index(“article-index-vertex”) # Замените индексным именем сосновой шишки # Инициализируем вершинный AI aiplatform.init(project=project_id, учётные данные=учётные данные, location=”us-central1″) Защиту генерировать_embeddings( текст: ул, задача: str = “RETRIEVAL_DOCUMENT”, model_id: str=”text-embedding-005″, размеры: Необязательно[int] = 768 ) -> Необязательно[Список[float]]: если не текст или не text.strip(): print(“Ввод текста пуст. Пропуск.”) возврат Нет пытаться: модель = TextEmbeddingModel.from_pretrained(model_id) input_data = TextEmbeddingInput (текст, тип_задачи = задача) векторы = model.get_embeddings([input_data], выходная_размерность=размерности) возвращать векторы[0].значения кроме ServiceUnavailable как e: print(f”Сервис Vertex AI недоступен: {e}”) возврат Нет кроме исключения как e: print(f”Ошибка создания вложений: {e}”) возврат Нет # Загрузить данные из CSV data = pd.read_csv(“Sample Export File.csv”) # Замените на путь к файлу CSV. для idx, строка в data.iterrows(): пытаться: постоянная ссылка = str(row[“Постоянная ссылка”]) контент = строка[“Содержимое”] встраивание =generate_embeddings(содержание) если не встраивать: print(f”Пропуск идентификатора статьи {row['ID']} из-за пустого или неудачного внедрения.”) продолжать print(f”Встраивание для {permalink}: {embedding[:5]}…”) sys.stdout.flush() index.upsert(vectors=[ ( постоянная ссылка, встраивание, { 'категория': строка['Категория'], 'title': строка['Название'], 'publish_date': row['Дата публикации'], 'тип': строка['Тип'], 'publish_year': row['Год публикации'] } ) ]) time.sleep(1) # Необязательно: переход в режим сна, чтобы избежать ограничений скорости кроме исключения как e: print(f”Ошибка обработки идентификатора статьи {row['ID']}: {e}”) print(“Все вложения хранятся в базе данных векторов.”)
Вы увидите ниже в логах созданных вложений.
Снимок экрана из Google Cloud Console, декабрь 2024 г.
4. Поиск соответствия статьи ключевому слову с помощью Google Vertex AI
<п>Теперь давайте проделаем то же самое сопоставление ключевых слов с Vertex AI. Есть небольшой нюанс, так как вам нужно использовать ‘RETRIEVAL_QUERY’ против ‘RETRIEVAL_DOCUMENT’ в качестве аргумента при создании вложений ключевых слов, когда мы пытаемся выполнить поиск статьи (так называемого документа), которая лучше всего соответствует нашей фразе.
Это гарантирует, что встраивания отражают смысл ключевых слов, что важно для внутренних ссылок, а также повышает релевантность и точность совпадений, найденных в вашей векторной базе данных.
Используйте этот скрипт для сопоставления ключевых слов с векторами.
<п>импортировать ОС импортировать панд как pd из google.cloud импортировать aiplatform из google.auth импортируйте load_credentials_from_file из google.api_core.Exceptions import ServiceUnavailable из vertexai.language_models импорт TextEmbeddingModel из импортной шишки from tabulate import tabulate # Для форматирования таблицы # Настройте свои учетные данные Google Cloud os.environ[“GOOGLE_APPLICATION_CREDENTIALS”] = “config.json” # Замените файлом ключей JSON. учетные данные, project_id = load_credentials_from_file(os.environ[“GOOGLE_APPLICATION_CREDENTIALS”]) # Инициализируем клиент Pinecone сосновая шишка = Pinecone(api_key='YOUR_PINECON_API_KEY') # Добавьте свой API-ключ сосновой шишки index_name = “article-index-vertex” # Замените индексным именем сосновой шишки index = сосновая шишка.Index(имя_индекса) # Инициализируем вершинный AI aiplatform.init(project=project_id, учётные данные=учётные данные, location=”us-central1″) Защиту генерировать_embeddings( текст: ул, model_id: str=”text-embedding-005″ ) -> список: “”” Создает внедрения для входного текста с использованием модели внедрения Google Vertex AI. Возвращает None, если текст пуст или произошла ошибка. “”” если не текст или не text.strip(): print(“Ввод текста пуст. Пропуск.”) возврат Нет пытаться: модель = TextEmbeddingModel.from_pretrained(model_id) вектор = model.get_embeddings([text]) # Удалены «task_type» и «output_lengthity» вернуть вектор[0].значения кроме ServiceUnavailable как e: print(f”Сервис Vertex AI недоступен: {e}”) возврат Нет кроме исключения как e: print(f”Ошибка создания вложений: {e}”) возврат Нет Защиту match_keywords_to_index(ключевые слова): “”” Сопоставляет список пар «ключевое слово-категория» с ближайшими статьями в индексе «Сосновая шишка», фильтрация по метаданным, если указано. “”” результаты = [] для ключевого слова_пара в ключевых словах: ключевое слово = пара_ключевых слов[0] категория = пара_ключевых слов[1] пытаться: ключевое слово_вектор = генерировать_вложения (ключевое слово) если не ключевое слово_вектор: print(f”Для ключевого слова '{keyword}' в категории '{category}' не создано встраивание.”) результаты.append({ 'ключевое слово': ключевое слово, «Категория»: категория, «Счет матча»: «Ошибка/Пусто», «Название»: «Нет совпадения», «URL»: «Н/Д» }) продолжать query_results = index.query( вектор = ключевое слово_вектор, топ_к=1, include_metadata = Правда, filter={“категория”: категория} ) если query_results['соответствует']: ближайшее_соответствие = query_results['соответствия'][0] результаты.append({ 'ключевое слово': ключевое слово, «Категория»: категория, 'Счет матча': f”{closest_match['score']:.2f}”, «Название»: close_match['метаданные'].get('название', 'Н/Д'), 'URL': ближайшее_соответствие['id'] }) еще: результаты.append({ 'ключевое слово': ключевое слово, «Категория»: категория, «Счет матча»: «Н/Д», «Название»: «Соответствие не найдено», «URL»: «Н/Д» }) кроме исключения как e: print(f”Ошибка обработки ключевого слова '{keyword}' с категорией '{category}': {e}”) результаты.append({ 'ключевое слово': ключевое слово, «Категория»: категория, «Счет матча»: «Ошибка», «Название»: «Произошла ошибка», «URL»: «Н/Д» }) вернуть результаты # Пример использования: ключевые слова = [[“Инструменты SEO”, “Инструменты”], [“TikTok”, “TikTok”], [“Консультант по SEO”, “SEO”]] совпадения = match_keywords_to_index(ключевые слова) # Отображение результатов в таблице print(tabulate(matches, headers=”keys”, tablefmt=”fancy_grid”))
И вы увидите сгенерированные баллы:
Оценки соответствия ключевых слов, полученные с помощью модели встраивания текста Vertex AI
Попробуйте проверить релевантность написанной вами статьи
Думайте об этом как об упрощенном (широком) способе проверить, насколько семантически ваше письмо похоже на ключевое слово head. Создайте векторное встраивание ключевого слова в заголовок и всего содержимого статьи с помощью Google Vertex AI и рассчитайте косинусное сходство.
Если ваш текст слишком длинный, возможно, вам придется рассмотреть возможность реализации стратегии разбивки на фрагменты.
<ол>
Близкий балл (косинусное сходство) к 1,0 (например, 0,8 или 0,7) означает, что вы довольно близки по этому предмету. Если ваш балл ниже, вы можете обнаружить, что слишком длинное вступление с большим количеством ненужной ерунды может привести к снижению релевантности, а его сокращение поможет ее повысить.
<стр>Но помните, любые внесенные изменения должны иметь смысл и с редакционной точки зрения, и с точки зрения пользователя. <стр>Вы даже можете провести быстрое сравнение, вставив высокорейтинговый контент конкурента и посмотрев, как вы себя чувствуете. <стр>Это поможет вам более точно согласовать контент с целевой темой, что может повысить ваш рейтинг.
Уже существуют инструменты, выполняющие подобные задачи, но изучение этих навыков означает, что вы сможете применить индивидуальный подход, адаптированный к вашим потребностям—и, конечно же, делать это бесплатно.
Экспериментируйте сами и изучайте эти навыки, которые помогут вам идти вперед в области AI SEO и принимать обоснованные решения.
<стр>В качестве дополнительной литературы я рекомендую вам погрузиться в эти замечательные статьи:
