Компания Cloudflare, известный провайдер веб-инфраструктуры, представила новую систему защиты под названием "AI Labyrinth". Инновационное решение направлено на противодействие несанкционированному сбору данных искусственным интеллектом путем генерации фальшивого контента для ботов.
В отличие от стандартного подхода блокировки ботов, новая система заманивает их в "лабиринт" реалистично выглядящих, но бесполезных страниц. Это позволяет истощать вычислительные ресурсы веб-краулеров, которые игнорируют директивы "no crawl".
Когда система обнаруживает неавторизованный сбор данных, она начинает предоставлять боту серию автоматически сгенерированных страниц. Контент выглядит достоверно, но не имеет отношения к защищаемому сайту. При этом используется проверенная научная информация из области биологии, физики и математики во избежание распространения дезинформации.
По данным Cloudflare, ИИ-краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет около 1% всего обрабатываемого трафика. Многие из этих ботов собирают данные без разрешения владельцев сайтов для обучения языковых моделей.
Новая функция доступна всем клиентам Cloudflare, включая пользователей бесплатного тарифа. Для активации достаточно включить соответствующую опцию в панели управления.
Компания подчеркивает, что это только первая итерация использования ИИ для защиты от ботов. В будущем планируется усложнить обнаружение поддельного контента и улучшить его интеграцию в структуру сайтов.