BotNet: как быстрый рост ботов может изменить открытую сеть

BotNet: как быстрый рост ботов может изменить открытую сеть

<стр>Узнайте о развивающейся роли ботов в открытой сети и потенциале помощников ИИ в улучшении человеческого опыта в Интернете.

<стр>Как быстрый рост ботов меняет открытую сеть?

Более половины интернет-трафика приходится на ботов:

<ул>

  • Отчёт Imperva о плохих ботах за 2024 год показывает, что почти 50% общего интернет-трафика в 2024 году было не человеческим. Тенденция: снижение.1
  • Радар Cloudflare показывает ~70% человеческого трафика и 30% трафика от ботов.2
  • <ли>Аками сообщает, что 42% трафика в сети поступает от ботов.3

    На данный момент боты собирают информацию, которая делает приложения более удобными для людей. Но популяция нового вида растет: агентные боты.

    В течение двух десятилетий мы оптимизировали сайты для GoogleBot. Вскоре мы сможем сосредоточиться на помощниках ИИ, которые действуют как посредники между людьми и открытой сетью.

    <п>Мы уже оптимизировали ботнет с помощью схемы и фидов товаров в Google Merchant Center. XML-карты сайта стали предметом спора несколько десятилетий назад.

    На следующем уровне мы могли бы иметь отдельные веб-сайты или API для агентских ботов с совершенно новым маркетинговым полем.

    BotNet: How The Rapid Growth Of Bots Could Change The Open Web

    Изображение предоставлено: Lyna ™ <ч2>Агентская Сеть <п>

    BotNet: How The Rapid Growth Of Bots Could Change The Open Web

    Поскольку мы приближаемся к тому, чтобы в открытой сети трафика от ботов стало больше, чем от людей, важно помнить, что около 65% трафика ботов оценивается как вредоносный.

    Хорошие боты включают в себя парсеры из поисковых систем, инструменты SEO, средства защиты и, конечно же, сканеры с искусственным интеллектом. Популяция обоих типов ботов растет, но только хорошие из них действительно полезны.

    <п>По сравнению с предыдущими шестью месяцами, число роботов с искусственным интеллектом выросло на 18%, а поисковые системы замедлились на 10%. GoogleBot специально снизил активность на -1,6%.

    Однако ИИ-сканер Google компенсировал это увеличением на 1,4%. GPT Bot оказался самым активным ИИ-сканером: на него пришлось 3,8 % всех запросов – и вырос на 12%.

    .

    Сканер Google с искусственным интеллектом вырос на 62% и отвечал за 3,7% всех запросов к ботам. Учитывая текущие темпы роста, поисковый робот Google с искусственным интеллектом вскоре должен стать самым активным в сети.4

    BotNet: How The Rapid Growth Of Bots Could Change The Open Web

    Изображение предоставлено: Кевин Индиг

    Сегодня у ИИ-ботов три цели:

    <ол>

  • Собрать тренировочные данные.
  • Создайте поисковый индекс для обоснования ответов LLM (RAG).
  • Собирайте данные в режиме реального времени для подсказок, требующих актуальности.
  • Но в настоящее время все крупные разработчики ИИ работают над агентами, которые просматривают Интернет и выполняют действия для пользователей:

    <ул>

  • Клод был первым со своим заданием «Использование компьютера». Особенность продукта: “Разработчики могут указать Клоду использовать компьютеры так, как это делают люди— глядя на экран, перемещая курсор, нажимая кнопки и вводя текст.”5
  • Jarvis от Google, “полезный компаньон, который просматривает веб-страницы вместо вас” случайно запущен в магазине Chrome на мгновение.6
  • <ли>OpenAI работает на основе “Operator” также агент, который принимает меры за вас.7

    Я вижу три возможных исхода:

    <ол>

  • Агенты значительно увеличивают трафик ботов в открытой сети, когда они сканируют и посещают веб-сайты.
  • Агенты используют API для получения информации.
  • Агенты работают на своей платформе, то есть Оператор использует только данные из ChatGPT, а не собирает свои собственные.
  • Я думаю, что наиболее вероятно сочетание всех трёх, в результате чего трафик ботов значительно вырастет.

    <п>Если это окажется правдой, компании будут все чаще создавать отдельные версии своих сайтов для ботов, ориентированных на скорость и структурирование данных. “Просто сосредоточьтесь на пользователе” становится «просто сосредоточьтесь на агентах».

    В некотором смысле, ChatGPT Search уже является агентом, который просматривает и курирует Интернет для людей. Но если агенты сдержат свое обещание, вы можете ожидать гораздо большего.

    Генеральный директор OpenAI Сэм Альтман заявил в своей недавней  Reddit AMA:  “Я думаю, что следующим гигантским прорывом станут агенты.& rdquo;

    <стр>Пока боты завоевывают сеть, что делают люди? <час2>Внедрение Интернета

    BotNet: How The Rapid Growth Of Bots Could Change The Open Web

    Изображение предоставлено: Кевин Индиг <п>Маловероятно, что люди полностью перестанут просматривать Интернет.

    Даже с ответами ИИ в поиске и функциями поиска в чат-ботах с ИИ люди по-прежнему хотят проверять утверждения ИИ, получать случайное вдохновение (интуитивность) или искать ответы у других людей (Reddit).

    Но процесс поиска в поисках, скорее всего, растворится в подсказках, если боты станут достаточно хорошими.

    Есть возможности для роста трафика людей: в 2023 году 70% населения мира имели доступ в Интернет. При нынешних темпах (~7% в годовом исчислении) к 2030 году доступ в Интернет будет обеспечен у всего мира. .

    Однако, несмотря на растущее распространение Интернета, человеческий трафик за последние три года оставался неизменным (см. статистику Cloudflare). Поисковые роботы с искусственным интеллектом растут намного быстрее (18%), а агенты могут ускорить этот процесс еще больше.

    BotNet: How The Rapid Growth Of Bots Could Change The Open Web

    Изображение предоставлено: Кевин Индиг

    Количество обращений людей к Википедии, крупнейшему сайту в сети, с 2019 года стагнирует.8

    Причина в том, что внимание людей переключается на социальные платформы, особенно молодого поколения. Когда боты захватывают открытую сеть, люди бегут в убежища.

    <ч2>Маркетинг

    BotNet: How The Rapid Growth Of Bots Could Change The Open Web

    Изображение предоставлено: Кевин Индиг

    В отдаленном будущем хорошие боты могут стать равноправными гражданами открытой веб-нации, поскольку все больше людей проводят время на закрытых социальных платформах, а агентские LLM увеличивают и без того быстрый рост трафика ботов. Если эта теория подтвердится, что это значит для маркетинга и, в частности, для SEO?

    Представьте, что вы заказываете поездку. Вместо того чтобы просматривать Google или Booking, вы сообщаете своему агенту, куда и когда вы собираетесь поехать.

    <стр>Основываясь на том, что он знает о ваших предпочтениях, ваш агент подбирает три варианта рейсов и отелей на выбранной вами платформе.<стр>Когда вы выбираете рейс, он добавляется в ваш календарь, а билеты попадают в ваш почтовый ящик. Вам не нужно оформлять заказ. Агент все сделает за вас. Вы можете применить тот же сценарий к электронной коммерции или программному обеспечению.

    Учитывая, что такие компании, как Google, уже сегодня имеют возможности для этого, стоит подумать о том, что останется постоянным, что изменится, а что станет более и менее важным в этом видении. <ч3>Постоянная

    Ботам не нужен CSS или изображения героев. У маскировки вашего сайта для сканеров LLM нет недостатков, поэтому есть вероятность, что веб-сайты покажут ботам базовую версию.

    <п>Набор навыков, который останется неизменным в этом будущем, — это техническое SEO: возможность сканирования, скорость (сервера), внутренние ссылки и структурированные данные.

    Изменить

    Агентная открытая сеть предлагает гораздо лучшие возможности таргетинга рекламы, поскольку боты знают своих владельцев изнутри.

    <стр>Люди будут принимать решения о покупке намного быстрее, поскольку их агенты предоставляют им всю необходимую информацию и знают их предпочтения.

    Затраты на рекламу значительно снижаются и обеспечивают еще более высокую прибыль, чем сегодня.

    <п>Поскольку боты могут перевести что угодно за считанные секунды, локализация и международные продажи больше не являются проблемой. Люди могут покупать у кого угодно и где угодно – только ограничения по доставке и запасам. Глобальная экономика открывается еще больше.

    Если мы сыграем правильно, агенты могут стать лучшими хранителями конфиденциальности: никто не имеет о вас столько данных, сколько они, но вы можете контролировать, какой информацией они делятся.

    Агенты знают вас, но им не обязательно делиться этой информацией с другими. Мы могли бы поделиться с ними еще большим количеством данных, закрутив маховик данных → понимание → результаты → данные → стоимость → результаты → и т. д. <п>С другой стороны, нам необходимо создать защиту от мошеннических ботов, переопределив, что ботам разрешено делать, в формате, подобном robots.txt 2.0. Кибербезопасность стала еще более важной, но и более сложной, поскольку плохие боты могут гораздо лучше имитировать хороших.

    <стр>Нам нужно будет выяснить, какое влияние на окружающую среду оказывает увеличение потребления энергии из-за увеличения трафика ботов.

    Будем надеяться, что боты будут более эффективны и, следовательно, будут вызывать меньший общий веб-трафик, чем люди. Это, по крайней мере, несколько компенсировало бы энергетическое ущелье, которое уже вызывают LLM.

    <ч3>Важно <п>Самый удобный для ботов формат информации — необработанный и структурированный: каналы XML, RSS и API. Мы уже отправили в Google фиды товаров и XML-карты сайта, но агентам нужно больше.

    В будущем веб-дизайн будет менее важен, и, возможно, это нормально, поскольку большинство сайтов и так выглядят очень похоже.

    <стр>Дизайн ленты становится более важным: какую информацию включать в ленту, сколько и как часто ее обновлять и какие запросы отправлять обратно ботам.

    Маркетологи потратят гораздо больше времени на реверс-инжиниринг того, как выглядят разговоры с чат-ботами. Боты, скорее всего, станут черным ящиком, подобным алгоритму Google, но реклама может пролить свет на то, о чем люди спрашивают больше всего.

    <ч3>Отношения

    В реальном будущем будет трудно заставить клиентов перейти на другой бренд, если они остановились на бренде, который им нравится, пока у них не возникнет плохой опыт.

    В результате важным маркетинговым рычагом станет побуждение клиентов попробовать ваш бренд с помощью таких кампаний, как скидки и эксклюзивные предложения.

    Как только вы убедились и дали понять, что ваш продукт лучше, вашей задачей станет убедить пользователей попробовать его. Очевидно, это уже работает сегодня.

    Благодаря такому большому количеству возможностей органически рекламировать и склонять пользователей к определенному продукту перед покупкой, мы имеем гораздо больше влияния на покупку.

    Но в будущем агенты смогут делать такой выбор за пользователей. Маркетологи будут тратить больше времени на выстраивание отношений, повышение узнаваемости бренда и влияние на традиционные маркетинговые факторы, такие как ценообразование, распространение (доставка) и дифференциация.

    1 2024 Сообщение о плохом боте

    2 Радар Cloudflare: тенденции трафика

    3 Боты составляют 42% общего веб-трафика; Почти две трети злонамеренны

    4 Радар Cloudflare: Data Explorer

    5 Знакомство с использованием компьютера, новый Сонет Клода 3.5 и Хайку Клода 3.5

    6 В магазине Chrome просочилась информация о существовании расширения Jarvis AI от Google

    7 OpenAI близок к запуску инструмента AI Agent для автоматизации задач пользователей

    8 Анализ просмотров сайтов< /эм>

    Back To Top