Patreon блокирует AI-ботов через Cloudflare: новый этап борьбы

Patreon блокирует AI-ботов через Cloudflare: платформа перестала вежливо просить краулеров не скрейпить контент авторов и начала технически перекрывать им доступ. Об этом 17 июля 2026 года сообщил TechCrunch со ссылкой на блог платформы. Компания подключила технологию AI Crawl Control от Cloudflare и теперь блокирует краулеров, которые обучают ИИ-модели на работах авторов без разрешения.

Смысл перемены прост. Раньше сайты полагались на файл robots.txt, текстовые инструкции для ботов, появившиеся ещё в 1994 году. Инструкции эти добровольные, их можно проигнорировать. Крупные краулеры формально их соблюдают, а «серые» скрейперы плюют на запрет. Patreon процитировал собственный принцип: «Согласие не должно зависеть от того, решит ли скрейпер вести себя прилично».

От robots.txt к реальной блокировке AI-краулеров

Тест платформы показал, насколько прежние запреты игнорировались. У отдельных тренировочных краулеров число еженедельных попыток доступа упало «с тысяч до нуля» после включения блокировки. Боты скрейпили сайт вопреки записям в robots.txt и остановились только тогда, когда доступ перекрыли на уровне инфраструктуры.

Почему потребовались новые меры

Patreon усилил защиту, потому что AI-скрейпинг стал изощрённее с 2023 года, когда платформа впервые ввела защиту от AI-краулеров. Пейвол давно закрывал большую часть контента. Но новые discovery-инструменты, переработанная лента Home Feed и твиттероподобные короткие записи Quips, открыли часть материалов ботам. Их и пришлось прикрыть.

Одна оговорка: Patreon не блокирует ботов, которые индексируют страницы и направляют пользователей обратно на сайт. Поисковая индексация остаётся, режут именно тренировочные краулеры, обучающие ИИ на чужом контенте.

Cloudflare как щит и как касса

Cloudflare последние два года строит набор инструментов против AI-ботов: от блокировки «в один клик» до маркетплейса Pay Per Crawl, где сайты могут брать с ботов плату за скрейпинг. Ранее в июле 2026 года компания ужесточила политику: «смешанные» краулеры, которые одновременно индексируют и обучаются на контенте, теперь блокируются по умолчанию на любых страницах с рекламой.

Продуктовый директор Patreon Дрю Роуни сформулировал позицию так:

По мере того как ИИ-агенты становятся всё мощнее и популярнее, авторы заслуживают реального права голоса в том, как их работы используются ИИ-компаниями. На большей части интернета авторы вынуждены соглашаться на обучение ИИ на своих работах просто ради доступа к аудитории. У Patreon другое видение: авторы должны иметь возможность растить аудиторию и контролировать использование своих работ.

Часть большого конфликта авторов и ИИ-компаний

Шаг Patreon встраивается в конфликт между авторами, медиа и ИИ-компаниями, от исков вроде The New York Times против OpenAI до споров о добросовестном использовании защищённого контента. Контроль доступа ИИ к данным перемещается с уровня вежливых просьб на уровень сетевой инфраструктуры.

Если вы сами публикуете контент, вывод практический: проверьте, кто и как обращается к вашему сайту, и настройте фильтрацию AI-ботов. Готовые инструменты для этого уже есть, например Cloudflare AI Crawl Control.

Источники

TechCrunch, Patreon начал блокировать AI-ботов вместо просьб не скрейпить контент