🔎 L'article en bref
- Depuis le 1er juillet 2026, Cloudflare a annoncé qu'il bloquera par défaut les crawlers IA dits "à usage mixte" sur les pages contenant de la publicité, à partir du 15 septembre 2026.
- Le changement s'applique aux nouveaux clients, aux nouveaux sites des clients existants et à tous les comptes gratuits. Beaucoup de sites seront concernés sans le savoir.
- Le réflexe "je bloque tout pour protéger mon contenu" est une erreur stratégique pour la plupart des PME : tu risques de disparaître des réponses IA sans rien protéger du tout.
- La clé, c'est de distinguer les bots d'entraînement (qui nourrissent les modèles) des bots de citation (qui te rendent visible dans ChatGPT ou Perplexity).
- On te donne la configuration robots.txt à copier et la méthode pour vérifier que ton CDN ne te sabote pas dans ton dos.
Il y a quelques jours, Cloudflare a fait un truc qui va changer la vie de pas mal de sites web sans que leurs propriétaires s'en rendent compte. L'entreprise, par laquelle transite environ un cinquième du trafic web mondial, a décidé de fermer la porte aux robots d'intelligence artificielle. Par défaut. Sans rien demander à personne.
Derrière cette annonce technique se cache une question stratégique que tu vas devoir trancher pour ton propre site : faut-il protéger ton contenu des IA, ou le laisser circuler pour rester visible ? Et attention, la réponse intuitive est souvent la mauvaise. On t'explique pourquoi.
Ce que Cloudflare vient d'annoncer
Le 1er juillet 2026, Cloudflare a publié une nouvelle politique qui va s'appliquer à partir du 15 septembre 2026. À cette date, les paramètres par défaut de la plateforme bloqueront les crawlers IA dits "à usage mixte" sur toutes les pages qui hébergent de la publicité.
Un crawler "à usage mixte", c'est un robot qui fait plusieurs boulots à la fois : il indexe ton site pour un moteur de recherche, il collecte des données pour entraîner un modèle d'IA, et il alimente des agents conversationnels. Tout ça sous une seule identité. 👉 Le problème pour toi, éditeur, c'est qu'il devient impossible de dire "oui" à l'un et "non" à l'autre.
Qui est concerné, concrètement
C'est le point qui devrait t'alerter. Le changement s'applique automatiquement à trois catégories :
Les nouveaux clients
Toute personne qui crée un compte Cloudflare après le 15 septembre 2026 hérite du blocage par défaut.
AutomatiqueLes nouveaux sites
Même si ton compte existe déjà, chaque nouveau site que tu ajoutes passe en mode fermé par défaut.
VigilanceTous les comptes gratuits
C'est le plus large. Les utilisateurs de l'offre gratuite basculent automatiquement, sauf s'ils se désinscrivent avant la date limite.
Le plus impactéSi tu utilises Cloudflare en version gratuite pour ton site WordPress, ce qui est très courant, tu es directement concerné. Et si tu ne fais rien, le réglage s'applique sans que tu aies cliqué sur quoi que ce soit.
Selon Matthew Prince, le PDG de Cloudflare, le trafic non humain a désormais dépassé le trafic humain sur l'ensemble d'Internet, un basculement qui n'était pas attendu avant l'année prochaine. Cloudflare indique par ailleurs que plus de 50 % du trafic généré par les crawlers IA consiste à re-télécharger des pages qui n'ont pas changé. Source : TechCrunch, juillet 2026.
Le nerf de la guerre : Pay Per Use
Cloudflare ne se contente pas de bloquer. La plateforme fait évoluer son système "Pay Per Crawl", qui permettait déjà de facturer les robots à chaque passage, vers un modèle baptisé "Pay Per Use". La différence est subtile mais importante : tu n'es plus payé quand le robot vient chercher ton contenu, mais quand ton contenu génère réellement de la valeur pour un service IA, par exemple quand il apparaît dans une réponse.
Sur le papier, c'est une bonne nouvelle pour les éditeurs. Dans les faits, ce système reste réservé à quelques partenaires pilotes pour l'instant, et il ne concernera vraiment que les sites qui produisent du contenu à forte valeur ajoutée en volume. Pour une PME lambda, ça ne changera pas grand-chose à court terme.
Pourquoi les éditeurs sont à cran
Pour comprendre la colère du secteur, il faut regarder un chiffre : le ratio crawl-to-referral. C'est le nombre de pages qu'un robot IA aspire sur ton site, rapporté au nombre de visiteurs qu'il t'envoie en retour.
Autrefois, le deal du web était clair : Google aspirait ton contenu, mais il t'envoyait du trafic en échange. C'était un échange, pas un pillage. Aujourd'hui, ce contrat implicite est cassé. Les moteurs de réponse IA extraient ton information, la résument, et l'utilisateur n'a plus aucune raison de cliquer.
| Situation | Ce que ça donne |
|---|---|
| Le deal historique avec Google | Environ 14 pages crawlées pour 1 visiteur renvoyé |
| Le crawl des IA aujourd'hui | Des ratios qui explosent, jusqu'à plusieurs dizaines de milliers de pages pour une seule référence |
| Le clic sur les sources citées | Les utilisateurs ne cliquent sur les sources qu'environ 1 % du temps |
| La perte de trafic des éditeurs | Entre 20 % et 90 % de trafic perdu sur un an selon les cas |
Tu comprends pourquoi Cloudflare a reçu le soutien public de grands médias comme l'Associated Press, Time, The Atlantic ou Reddit. Ce sont eux qui souffrent le plus de l'extraction gratuite. 😅 Sauf que ce qui est vrai pour un grand média ne l'est pas forcément pour toi. Et c'est là que ça devient intéressant.
Ne confonds pas ton cas avec celui du New York Times. Un grand média vit de ses pages vues et de sa régie publicitaire : chaque visiteur perdu est une perte sèche. Une PME, un artisan, un cabinet de conseil ou un e-commerçant vit de ses clients, pas de son trafic brut. Être cité dans une réponse ChatGPT qui amène un prospect qualifié vaut souvent bien plus que dix mille pages vues anonymes. Ton calcul n'est pas le même que celui d'un éditeur de presse.
L'erreur qui rend ton site invisible
Voilà le cœur du sujet, et le message le plus important de cet article. Face à cette actualité, le réflexe naturel est de se dire : "OK, je bloque tout, je protège mon contenu." C'est très souvent une erreur.
Pourquoi ? Parce que tous les robots IA ne font pas le même travail. Et si tu les bloques en bloc, tu te tires une balle dans le pied.
Bots d'entraînement contre bots de citation
Il faut distinguer deux familles de robots, qui appartiennent souvent aux mêmes entreprises mais qui n'ont rien à voir :
Les bots d'entraînement
GPTBot, ClaudeBot, Google-Extended, CCBot. Ils aspirent ton contenu en masse pour entraîner les futurs modèles. Ils ne te citent pas, ne te renvoient aucun trafic, et tu ne contrôles pas ce qu'ils en font.
Blocables sans risqueLes bots de citation
OAI-SearchBot, Claude-SearchBot, PerplexityBot. Ils viennent chercher ta page en temps réel quand un utilisateur pose une question, et ils te citent avec un lien vers ton site.
À garder ouvertsLes bots déclenchés par l'utilisateur
ChatGPT-User, Claude-User. Ils se déclenchent quand une vraie personne demande à l'IA d'aller consulter ton site. Les bloquer, c'est empêcher un prospect d'accéder à toi.
À garder ouvertsTu vois le piège ? Bloquer GPTBot n'empêche pas du tout ChatGPT de te citer, parce que les citations passent par OAI-SearchBot, qui est un robot totalement distinct avec sa propre règle. À l'inverse, si tu bloques OAI-SearchBot, tu disparais purement et simplement des réponses de ChatGPT, sans pour autant protéger quoi que ce soit côté entraînement.
C'est l'erreur la plus répandue du moment. Selon une analyse de Pixelmojo, si 79 % des grands sites d'actualité bloquent les bots d'entraînement, 71 % bloquent aussi les bots de citation, ce qui les rend invisibles dans les réponses IA sans bénéfice en contrepartie. Source : Pixelmojo, 2026.
Le piège du blocage déjà en place
Il y a une autre subtilité que beaucoup ignorent. Si tu as ajouté une règle de blocage il y a deux ans, en mode "pas touche à mon contenu", elle est peut-être en train de te coûter ta visibilité aujourd'hui sans que tu le saches. Beaucoup de sites font tout bien en matière de contenu, puis se demandent pourquoi ils ne sont jamais cités par les IA. La réponse est souvent dans une ligne oubliée du fichier robots.txt.
Et le pire : bloquer aujourd'hui ne retire pas ton contenu des modèles déjà entraînés. Ce qui a été aspiré l'a été. Tu peux donc te retrouver dans la pire des situations : ton contenu nourrit déjà les modèles existants, ET tu es invisible dans les réponses actuelles. Le pire des deux mondes.
La bonne configuration à mettre en place
Passons au concret. Voici la stratégie qu'on recommande à la grande majorité de nos clients : autoriser les bots qui te rendent visible, bloquer ceux qui se servent sans rien donner.
Audite ton robots.txt actuel Va sur tonsite.fr/robots.txt et lis-le ligne par ligne. Cherche les règles Disallow qui viseraient OAI-SearchBot, PerplexityBot ou Claude-SearchBot. Si tu en trouves, c'est probablement la raison de ton absence des réponses IA.
Autorise explicitement les bots de citation OAI-SearchBot, Claude-SearchBot, Claude-User, ChatGPT-User et PerplexityBot doivent pouvoir accéder à tes pages publiques. Ce sont eux qui te ramènent des prospects.
Décide pour les bots d'entraînement GPTBot, ClaudeBot, Google-Extended, CCBot. Là, c'est un choix philosophique et business. Les bloquer n'aura aucun impact négatif sur ta visibilité IA ni sur ton classement Google. Les autoriser peut aider les modèles à mieux connaître ta marque sur le long terme.
Vérifie ton CDN et ton pare-feu C'est l'étape que tout le monde saute. Ton robots.txt peut dire "entrez", mais si Cloudflare bloque les robots au niveau réseau, c'est lui qui gagne. Va dans les réglages Sécurité de Cloudflare et vérifie la section dédiée aux crawlers IA.
Surveille tes logs serveur Filtre par user-agent pour voir quels robots passent réellement, à quelle fréquence, et sur quelles pages. C'est la seule façon de savoir si ta configuration fonctionne comme tu le penses.
Le piège mortel à éviter absolument : ne bloque jamais Googlebot en croyant bloquer l'IA de Google. Googlebot gère ton référencement classique, les AI Overviews et l'AI Mode. Le bloquer, c'est détruire toute ta visibilité Google d'un coup. Si tu veux uniquement refuser l'entraînement de Gemini, c'est Google-Extended qu'il faut viser. Google a confirmé que bloquer Google-Extended n'a aucun effet sur ton positionnement dans Google Search.
Attention aux chaînes de caractères obsolètes
Un détail technique qui piège beaucoup de sites : certaines anciennes identités de robots ne sont plus actives. Si tu bloques "Claude-Web" ou "anthropic-ai" en pensant bloquer Anthropic, tu ne bloques rien du tout : les identités actives en 2026 sont ClaudeBot pour l'entraînement, Claude-SearchBot pour l'index de recherche et Claude-User pour les requêtes déclenchées par un utilisateur. Vérifie toujours la documentation officielle de chaque éditeur, c'est la seule source fiable.
Alors, tu bloques ou tu ouvres ?
Il n'y a pas de réponse universelle, mais il y a une réponse adaptée à ton profil. Voici comment on tranche chez NOOKI.
| Ton profil | Notre recommandation |
|---|---|
| PME, artisan, site vitrine, cabinet de conseil | Ouvre les bots de citation en grand. Ta priorité, c'est la visibilité. Bloque les bots d'entraînement si tu veux, l'impact sera neutre. |
| E-commerce | Même logique. Tu as besoin d'être recommandé dans les réponses IA au moment où quelqu'un cherche ton produit. Fermer la porte, c'est se priver d'un canal en pleine croissance. |
| Média, éditeur de contenu, site à forte audience | Là, le calcul change. Si tes revenus viennent des pages vues, bloque l'entraînement et regarde sérieusement les modèles de rémunération comme Pay Per Use. |
| Site avec du contenu premium ou propriétaire | Protège tes zones sensibles avec de vrais contrôles (mot de passe, pare-feu), pas juste avec un robots.txt qui reste une simple recommandation. |
La règle d'or : bloquer est une décision délibérée, pas un réglage par défaut sûr. Chaque robot que tu fermes, tu dois savoir précisément ce que tu perds en échange.
Ce que ça dit du web qui vient
Prends un peu de recul deux minutes. Ce que fait Cloudflare, ce n'est pas une simple mise à jour technique. C'est un basculement de philosophie : le web passe d'un modèle "ouvert tant que tu ne fermes pas" à un modèle "fermé tant que tu n'ouvres pas". 🔥
Et ce n'est pas une loi, c'est juste un réglage par défaut. Mais sur Internet, les défauts techniques pèsent parfois aussi lourd qu'un texte réglementaire. Quand un acteur par lequel transite une part énorme du trafic mondial décide de fermer le robinet, tout l'écosystème doit s'adapter.
Pour toi, l'enseignement est simple : tu ne peux plus laisser ces réglages au hasard. La visibilité dans les IA ne s'improvise plus, elle se configure. Et elle commence par des choses très concrètes : un robots.txt propre, un CDN correctement paramétré, et une vraie stratégie de contenu pensée pour être citée. C'est exactement le travail qu'on détaille dans notre guide complet du GEO, qui explique comment devenir la source que les IA citent.
Un dernier conseil qu'on donne systématiquement : profite de cette actualité pour faire un audit complet de ta visibilité IA. Va au-delà du robots.txt. Vérifie que tes pages sont lisibles sans JavaScript (beaucoup de robots IA ne l'exécutent pas), que tes données structurées sont propres, et que ton contenu répond à de vraies questions. Le blocage n'est que la partie émergée de l'iceberg : si les IA ne te citent pas, c'est souvent parce qu'elles ne te comprennent pas, pas parce qu'elles ne peuvent pas te lire.
Conclusion
L'annonce de Cloudflare est un signal fort : l'ère du contenu gratuitement aspiré par les IA touche à sa fin, et c'est plutôt une bonne nouvelle pour ceux qui produisent de la valeur. Mais ne te trompe pas de combat.
Ton ennemi, ce n'est pas l'IA. C'est l'ignorance de tes propres réglages. La vraie question n'est pas "faut-il bloquer ?", mais "quels robots je laisse entrer, et qu'est-ce que j'obtiens en retour ?" ✔️ Bloquer l'entraînement sans bloquer la citation, c'est le meilleur des deux mondes : tu protèges ton contenu de l'aspiration en masse, tout en restant la marque que ChatGPT recommande quand un prospect pose une question.
Chez NOOKI, on accompagne nos clients sur exactement ce genre d'arbitrage : configuration technique, visibilité dans les moteurs IA, stratégie de contenu. Si tu veux qu'on regarde ensemble où en est ton site avant l'échéance du 15 septembre, on est là. ☕
FAQ
Tu es concerné si tu es un nouveau client Cloudflare, si tu ajoutes un nouveau site à un compte existant, ou si tu utilises l'offre gratuite. Dans ce dernier cas, le basculement est automatique sauf si tu modifies tes réglages avant la date limite. Les pages concernées sont celles qui hébergent de la publicité.
Non. GPTBot sert à l'entraînement des modèles. Les citations dans ChatGPT passent par OAI-SearchBot, qui est un robot distinct avec sa propre règle dans le robots.txt. Tu peux donc bloquer l'entraînement tout en restant parfaitement citable dans les réponses de ChatGPT.
Non, à condition de viser les bons robots. Bloquer Google-Extended, qui gère uniquement l'entraînement de Gemini, n'a aucun effet sur ton classement dans Google Search. En revanche, bloquer Googlebot par erreur détruirait toute ta visibilité, y compris dans les AI Overviews. C'est l'erreur à ne surtout pas commettre.
Non, le robots.txt est une recommandation, pas une barrière. Les grands acteurs comme OpenAI, Anthropic et Google le respectent, mais les robots malveillants ou non identifiés peuvent l'ignorer. Pour du contenu vraiment sensible, il faut de vrais contrôles : authentification, pare-feu applicatif, ou blocage au niveau du CDN.
Pas vraiment. Ce qui a déjà été aspiré avant ton blocage reste dans les modèles entraînés à l'époque. Bloquer aujourd'hui empêche seulement les futurs entraînements. Pire, si ton blocage vise aussi les robots de citation, tu es invisible dans les réponses actuelles sans avoir retiré ton contenu des modèles existants.
En consultant tes logs serveur et en filtrant par user-agent. Tu cherches les identités comme GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot ou Google-Extended. Cloudflare propose aussi des analyses de trafic bot dans son tableau de bord, ce qui évite de fouiller les logs bruts.
