Собранные краулерами большие данные используются для обучения ИИ-моделей. Напомним, нередко это вызывает протесты правообладателей, что, впрочем, пока не остановило подобную практику. Как пишет Ars Technica, один из владельцев сайта, которого достали визиты краулеров, задействовал для затруднения их работы инструменты, применявшиеся ранее для борьбы со спамом. В частности, используются так называемые «смоляные ямы» – вредоносные программы, которые «отправляют ИИ-краулеры в бесконечный лабиринт из статичных файлов без ссылок на выход». В результате краулеры блуждают там месяцами.