AI Labyrinth: Новый подход к защите от ботов

Сегодня Cloudflare анонсировали новую функцию AI Labyrinth, которая использует генерируемый AI контент для защиты от несанкционированных ботов. Эта технология позволяет замедлять, сбивать с толку и перерасходовать ресурсы AI-краулеров, игнорирующих директивы "no crawl". После активации функции Cloudflare автоматически развертывает сеть AI-генерируемых страниц при обнаружении подозрительной активности ботов, без необходимости создания пользовательских правил.

Доступно для всех

AI Labyrinth доступен на добровольной основе всем клиентам Cloudflare, включая пользователей бесплатного тарифа.

Использование генеративного AI в защитных целях

Контент, созданный с помощью генеративного AI, стремительно набирает популярность. По данным Medium, 47% всего контента на их платформе создано с помощью AI. Однако, как и любой новый инструмент, он может использоваться как во благо, так и во вред.

Параллельно с этим наблюдается всплеск активности новых краулеров, используемых AI-компаниями для сбора данных. Каждый день AI-краулеры генерируют более 50 миллиардов запросов в сети Cloudflare. Хотя уже существуют инструменты для блокировки таких запросов, блокировка может предупредить злоумышленников о том, что их обнаружили, что приводит к изменению тактики и бесконечной гонке вооружений. Поэтому было решено использовать генеративный AI для создания ловушек, которые будут обманывать ботов, не давая им понять, что они обмануты.

Как это работает

Когда обнаруживается несанкционированная активность краулеров, вместо блокировки запроса создается сеть AI-генерируемых страниц, которые выглядят достаточно реалистично, чтобы заманить краулера. В результате краулер тратит время и ресурсы на обработку ненужного контента, вместо того чтобы собирать полезные данные.

Для создания убедительного контента используется Workers AI с открытой моделью, чтобы генерировать уникальные HTML-страницы на различные темы. Этот контент генерируется заранее и хранится для быстрого доступа. Убедились, что генерируемый контент не содержит неточностей и не способствует распространению дезинформации.

Включение AI Labyrinth

Включить AI Labyrinth просто: достаточно перейти в раздел управления ботами в Cloudflare Dashboard и активировать соответствующую настройку. После этого система начнет работать мгновенно, без дополнительных настроек.

Будущее AI Labyrinth

Это только начало использования генеративного AI для борьбы с ботами. В будущем планируется улучшить интеграцию генерируемых страниц, чтобы они еще лучше вписывались в структуру защищаемых сайтов.