Компания Cloudflare представила AI Labyrinth — инструмент для противодействия автоматическим сканерам, которые собирают данные сайтов без разрешения. В отличие от традиционных методов, которые просто блокируют ботов, новый подход использует ловушки с фальшивыми страницами, вынуждая их тратить вычислительные мощности впустую.
Когда система обнаруживает подозрительную активность, она перенаправляет бота на серию специально созданных страниц. Эти страницы выглядят реалистично, но не содержат полезной информации. В результате алгоритмы тратят время на обработку бессмысленного контента, что снижает эффективность их работы.
Почему блокировка не всегда эффективна
Обычные способы защиты сайтов от скрейпинга, такие как запрет в файле robots.txt или блокировка IP-адресов, могут сигнализировать ботам, что они обнаружены. В ответ злоумышленники адаптируют свои алгоритмы и обходят ограничения. AI Labyrinth решает эту проблему иначе — он не останавливает бота сразу, а заставляет его взаимодействовать с бесполезным контентом, тем самым истощая ресурсы.
Как создаются ловушки для ИИ
Фальшивые страницы формируются с помощью Cloudflare Workers AI. Это облачная платформа, способная генерировать тексты, которые выглядят как реальные статьи, но не имеют отношения к защищаемому сайту. Они могут содержать случайные научные факты или нейтральную информацию, чтобы не распространять ложные сведения.
Такие страницы недоступны обычным пользователям и не индексируются поисковыми системами. Они созданы исключительно для взаимодействия с ботами. Если бот переходит по нескольким подобным ссылкам подряд, Cloudflare фиксирует его как злоумышленника и использует полученные данные для дальнейшего улучшения защиты.
Масштабы проблемы и перспективы развития
По данным Cloudflare, на ее сети фиксируется более 50 миллиардов запросов от ИИ-ботов ежедневно. Это почти 1% всего веб-трафика компании. Многие из этих ботов работают на крупные языковые модели, которые собирают данные без разрешения, что вызывает волну судебных разбирательств со стороны правообладателей контента.
AI Labyrinth — один из первых инструментов, который использует ИИ для защиты контента, а не только для его сбора. Однако остается вопрос, насколько быстро адаптируются алгоритмы скрейперов и смогут ли они научиться обходить новые ловушки. Cloudflare уже заявила, что это лишь первая версия AI Labyrinth, и в будущем планирует усложнять методы дезинформации для ботов.
Противостояние между сайтами и скрейперами продолжается. Ранее рассказывали о другом инструменте независимого хакера, который работает по такому же принципу.
