Cloudflare представила экспериментальную площадку Pay per Crawl, где владельцы веб-ресурсов смогут продавать доступ к своему контенту искусственному интеллекту за микроплатежи, сообщает TechCrunch. Платформа работает по принципу торговой биржи: издатели выставляют цену за каждое обращение бота к их сайту, а ИИ-компании решают, готовы ли они платить эту сумму.
Текущая ситуация напоминает цифровой грабеж. Данные Cloudflare показывают значительный дисбаланс: если поисковик Google сканирует сайты 14 раз на каждый переход пользователя, то ChatGPT делает это 17 тысяч раз, а Anthropic — 73 тысячи раз на один переход. Получается, что ИИ-системы массово поглощают контент, практически ничего не отдавая взамен.
Издатели десятилетиями мирились с таким подходом Google, поскольку получали трафик через поисковую выдачу. Но ИИ-чатботы работают иначе — они забирают информацию и выдают готовые ответы, не отправляя пользователей на исходные сайты.
Pay per Crawl функционирует как автоматизированный аукцион. Владельцы сайтов устанавливают тарифы для разных типов сканирования: обучение моделей, поиск информации или другие цели. ИИ-компании видят эти цены и принимают решение о покупке доступа. Альтернативы остаются прежними — можно разрешить бесплатный доступ или полностью заблокировать ботов. Cloudflare выступает посредником, обрабатывая платежи и распределяя доходы между участниками.
К инициативе уже присоединились медиагиганты: Conde Nast, TIME, Associated Press, The Atlantic, ADWEEK и Fortune. Эти издания по умолчанию блокируют ИИ-краулеры, поддерживая концепцию разрешительного доступа к контенту. Cloudflare также изменила настройки по умолчанию — новые сайты автоматически блокируют всех ИИ-ботов. Владельцам придется вручную разрешать доступ конкретным алгоритмам.
Пока платформа работает в закрытом тестировании и требует, чтобы обе стороны использовали сервисы Cloudflare. Успех проекта зависит от готовности ИИ-компаний платить за то, что раньше получали бесплатно. Но учитывая растущее давление на отрасль и судебные иски от издателей, такая модель может стать неизбежностью.
Также ранее Cloudflare представляла еще один новый инструмент для защиты от ботов в сети. Рассказывали о нем в статье.
