Cloudflare объявила, что с 15 сентября 2026 года краулеры, собирающие данные для обучения ИИ, и боты ИИ-агентов будут блокироваться по умолчанию на всех страницах с рекламой. Под удар попадают и "гибридные" краулеры, которые совмещают несколько функций сразу: если сайт запрещает сбор данных для обучения, то Googlebot, Applebot и BingBot будут заблокированы целиком — даже там, где поисковые боты разрешены. По сути это ультиматум: Google и другим гигантам предлагают разделить своих ботов на отдельные — для поиска и для ИИ. Читать далее