CGD - Crypto Government Department logo CGD - Crypto Government Department logo
Forklog 2026-07-02 08:54:12

Cloudflare запретит «смешанные» ИИ-краулеры

C 15 сентября провайдер сетевой инфраструктуры Cloudflare начнет по умолчанию блокировать на страницах все «смешанные» веб-краулеры на основе искусственного интеллекта.  Cloudflare’s new Attribution Business Insights dashboard helps website owners understand crawler behavior, appetite, and potential value. https://t.co/1F9HO3Fiv7— Cloudflare (@Cloudflare) July 1, 2026 Речь о краулерах, которые используют один и тот же тип ботов для поиска, обучения моделей и ИИ-агентов. В Cloudflare требуют разделять решения на поисковые, обучающие и агентные. Представители компании объяснили ужесточение тем, что издатели и владельцы сайтов хотят сохранять видимость в поиске и ИИ-сервисах, но не готовы бесплатно предоставлять контент.  «Интернет рискует перейти к экосистеме “нулевого клика”, где чат-боты собирают оригинальный контент для мгновенных ответов, полностью обходя первоисточники. Мы уже наблюдали заметный сдвиг от пространства, ориентированного исключительно на SEO, к миру AEO, а теперь уже и к GEO», — говорится в заявлении. Принятая мера также должна снизить нагрузки на инфраструктуру веб-страниц. По данным Cloudflare, более 50% трафика от ИИ-краулеров приходится на повторное сканирование страниц, которое редко приносит пользу.  Изменение затронет новых клиентов провайдера, сайты действующих пользователей и всех клиентов бесплатного тарифа. Владельцы хостингов смогут отключить опцию блокировки вручную. Параллельно Cloudflare расширяет коммерческую схему для издателей. Новая система Pay Per Use предполагает оплату не только за доступ к материалу, но и в случаях, когда контент имеет ценность для ИИ-сервиса. На первом этапе компания работает с Ceramic.ai и You.com. Издатели получают выплаты, если их материалы появляются в поисковой выдаче чат-ботов. Напомним, 18 ноября 2025 года Cloudflare столкнулся с масштабными техническими неполадками, которые вызвали нарушения в работе множества сайтов и приложений, включая Web3-сервисы.

Διαβάστε την Αποποίηση Ευθυνών : Όλο το περιεχόμενο που παρέχεται εδώ στον ιστότοπό μας, τους υπερσυνδεδεμένους ιστότοπους, τις σχετικές εφαρμογές, τα φόρουμ, τα ιστολόγια, τους λογαριασμούς κοινωνικών μέσων και άλλες πλατφόρμες (“Site”) προορίζεται μόνο για τις γενικές πληροφορίες σας, που προέρχονται από τρίτες πηγές. Δεν κάνουμε καμία εγγύηση οποιουδήποτε είδους σε σχέση με το περιεχόμενό μας, συμπεριλαμβανομένης ενδεικτικά της ακρίβειας και της ενημέρωσης. Κανένα μέρος του περιεχομένου που παρέχουμε δεν αποτελεί οικονομική συμβουλή, νομική συμβουλή ή οποιαδήποτε άλλη μορφή συμβουλών που προορίζεται για τη συγκεκριμένη εμπιστοσύνη σας για οποιονδήποτε σκοπό. Οποιαδήποτε χρήση ή εξάρτηση από το περιεχόμενό μας είναι αποκλειστικά με δική σας ευθύνη και διακριτική ευχέρεια. Πρέπει να πραγματοποιήσετε τη δική σας έρευνα, να ελέγξετε, να αναλύσετε και να επαληθεύσετε το περιεχόμενό μας προτού βασιστείτε σε αυτά. Η διαπραγμάτευση είναι μια εξαιρετικά επικίνδυνη δραστηριότητα που μπορεί να οδηγήσει σε μεγάλες απώλειες, επομένως συμβουλευτείτε τον οικονομικό σας σύμβουλο πριν λάβετε οποιαδήποτε απόφαση. Κανένα περιεχόμενο στον ιστότοπό μας δεν προορίζεται να είναι παράκληση ή προσφορά