Cloudflare открывает эру агентного интернета: ваш контент — ваши правила

Cloudflare переопределяет правила агентного интернета, предоставляя владельцам сайтов инструменты для контроля, монетизации и оптимизации контента в условиях, когда более половины веб-трафика генерируется AI-ботами.

Природа интернет-трафика кардинально изменилась. Автоматизированные агенты и боты теперь формируют более половины всех веб-запросов, а AI становится основным интерфейсом доступа к информации и совершения коммерции. Для бизнеса, построенного на рекламе или подписках, это создает критическую дилемму: как оставаться обнаруживаемым, не отдавая при этом интеллектуальную собственность для обучения AI-моделей. Анонс Cloudflare от июля 2026 года отвечает на этот вызов простой философией — ваш контент, ваши правила.

Что было анонсировано

Cloudflare (NYSE: NET) представил новые классификации, расширенную аналитику и коммерческие партнерства, которые объединяют владельцев сайтов и прозрачные AI-компании. Ключевая дата — 15 сентября 2026 года, когда новые настройки по умолчанию разрешат поисковую индексацию, но заблокируют обучение и агентное использование для страниц с рекламой. Смешанные краулеры, которые не разделяют поиск, агентное использование и обучение, будут заблокированы на всех страницах с рекламой.

Компания также запустила панель Attribution Business Insights, дающую бизнес-стейкхолдерам возможность видеть, как AI-боты потребляют контент и сколько реального человеческого трафика возвращают AI-компании. Кроме того, Pay Per Crawl эволюционирует в Pay Per Use — модель, при которой издатели получают вознаграждение, когда их контент создает ценность, а не просто загружается. Партнерами запуска стали Ceramic.ai и You.com.

Сегодня, когда большая часть интернет-трафика не является человеческой, мы должны действовать быстрее, чтобы построить устойчивую экосистему. Новые инструменты и партнерства Cloudflare дают владельцам сайтов больше видимости и коммерческих возможностей, а также приносят пользу AI-компаниям с прозрачными намерениями

Почему это важно

Для CIO, CISO и IT-директоров переход от человеческого к бот-доминируемому веб-трафику меняет экономику цифрового контента и требования к безопасности. Крупнейшая поисковая система сегодня имеет доступ примерно к 2X большему объему информации, чем ведущие AI-компании, поскольку клиенты не могут легко отделить поисковую видимость от обучения AI. Новые дефолты Cloudflare выравнивают эти условия.

Более 50% трафика AI-краулеров тратится на повторное сканирование неизменившихся страниц — впустую расходуется пропускная способность издателей и вычислительные ресурсы AI-компаний. Сигналы свежести Cloudflare устраняют эту неэффективность. Для руководителей по закупкам важно, что за последний год издатели и AI-платформы подписали более 50 крупных лицензионных соглашений на контент — монетизация контента стала стратегическим каналом дохода.

Технические детали

• Новые классификации по умолчанию: с 15 сентября 2026 года по умолчанию разрешен поиск, но заблокированы обучение и агентное использование для страниц с рекламой.
• Блокировка смешанных краулеров: краулеры, не разделяющие поиск, агентное использование и обучение, блокируются на страницах с рекламой.
• Attribution Business Insights: панель, раскрывающая паттерны потребления контента AI-ботами и объем реферального трафика.
• Answer Engine Optimization (AEO): уровень измерения того, как контент цитируется в AI-ответах разных моделей.
• Сигналы свежести: Cloudflare сообщает AI-краулерам об изменениях страниц, сокращая избыточные обходы, которые составляют более 50% AI-трафика.
• Pay Per Use: издатели получают выплаты, когда контент создает ценность; интеграции с Ceramic.ai (pay-per-query) и You.com (оплата по запросу агента).
• Web Bot Auth: открытый фреймворк, позволяющий AI-ботам и автономным шопинг-агентам подтверждать свою идентичность издателям и мерчантам.

Softprom и Cloudflare

Softprom является официальным дистрибьютором Cloudflare. Предприятия, планирующие внедрить управление AI-ботами, монетизацию контента и Web Bot Auth для агентного интернета, могут получить полную поддержку, лицензирование и техническую экспертизу через Softprom.

Этот материал подготовлен в рамках проекта Softprom DistriFlow — автоматизированной системы мониторинга и адаптации новостей вендоров. Источник: оригинальная статья.