Cloudflare представила интересное решение против ботов и AI-краулеров — "AI Labyrinth". Вместо простой блокировки несанкционированных ботов, которые игнорируют директивы "no crawl", система создает AI-генерируемые страницы-ловушки, чтобы замедлить, запутать и истощить ресурсы этих ботов.
Суть в том, что когда AI-краулер пытается собирать данные с сайта, Cloudflare незаметно добавляет скрытые ссылки на AI-сгенерированные страницы. Боты следуют по этим ссылкам и попадают в "лабиринт" связанных между собой страниц с правдоподобным, но бесполезным контентом. Реальные пользователи эти ссылки не видят и не кликают на них.
Это дает двойную выгоду: во-первых, боты тратят вычислительные ресурсы на обработку бесполезной информации вместо настоящего контента сайта, а во-вторых, это служит "приманкой" для идентификации ботов — если кто-то перешел на четвертую страницу AI-генерированной бессмыслицы, это почти наверняка бот, а не человек.
По данным Cloudflare, AI-краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет почти 1% всего трафика. AI Labyrinth доступен для всех клиентов Cloudflare, включая бесплатный тариф, и активируется одним переключателем на панели управления.
Выглядит устрашающе, если задуматься — как скоро этим роботам в интернете начнут мешать люди?
blog.cloudflare.com/ai-labyrinth/
Trapping misbehaving bots in an AI Labyrinth
How Cloudflare uses generative AI to slow down, confuse, and waste the resources of AI Crawlers and other bots that don’t respect “no crawl” directives.