Cloudflare теперь будет блокировать AI-краулеры по умолчанию

Крупный провайдер интернет-инфраструктуры Cloudflare теперь будет блокировать известные AI-краулеры по умолчанию, чтобы предотвратить их доступ к контенту без разрешения или компенсации, согласно объявлению, сделанному во вторник. С этим изменением Cloudflare начнет спрашивать новых владельцев доменов, хотят ли они разрешить доступ AI-краулерам, а также позволит некоторым издателям внедрить плату “Pay Per Crawl”. Программа “Pay Per Crawl” позволит издателям устанавливать цену за доступ AI-краулеров к их контенту. Компании, работающие в области искусственного интеллекта, смогут просматривать цены и решать, регистрироваться ли для оплаты или отказаться. Пока это доступно только для “группы ведущих издателей и создателей контента”, но Cloudflare утверждает, что это поможет гарантировать, что компании, работающие с ИИ, смогут использовать качественный контент правильным образом — с разрешения и компенсации. Cloudflare уже некоторое время помогает владельцам доменов бороться с AI-краулерами. Компания начала позволять сайтам блокировать AI-краулеры в 2023 году, но это применялось только к тем, которые соблюдают файл robots.txt сайта, а в прошлом году она начала блокировать “все” AI-боты — независимо от их отношения к robots.txt — и теперь эта настройка включена по умолчанию для новых клиентов Cloudflare. Cloudflare также внедрила функцию в марте, которая отправляет AI-краулеры в “Лабиринт ИИ”, чтобы предотвратить их сканирование сайтов без разрешения. Несколько крупных издателей и онлайн-платформ, включая The Associated Press, The Atlantic, Fortune, Stack Overflow и Quora, поддерживают новые ограничения Cloudflare на AI-краулеры, поскольку сайты сталкиваются с будущим, где все больше людей находят информацию через AI-чаты, а не через поисковые системы. “Люди больше доверяют ИИ в последние шесть месяцев, что означает, что они не читают оригинальный контент”, — сказал CEO Cloudflare Мэтью Принс на мероприятии Axios Live на прошлой неделе. Кроме того, Cloudflare утверждает, что работает с компаниями, занимающимися ИИ, чтобы помочь им подтвердить свои краулеры и позволить им “четко указать их цель”, например, используют ли они контент для обучения, вывода или поиска. Владельцы сайтов могут затем просматривать эту информацию и решать, какие краулеры разрешить. “Оригинальный контент делает Интернет одним из величайших изобретений прошлого века, и мы должны объединиться, чтобы защитить его”, — сказал Принс в пресс-релизе. “AI-краулеры бесконтрольно сканируют контент. Наша цель — вернуть власть создателям, продолжая помогать компаниям ИИ в инновациях.”