Ouvrez vos logs serveur : GPTBot, ClaudeBot et PerplexityBot y défilent probablement depuis des mois. Ces robots parcourent vos pages pour le compte d’OpenAI, d’Anthropic ou de Perplexity. La presse les bloque en masse et les blogs SEO publient des tutoriels de blocage à la chaîne. Faut-il suivre le mouvement ? Pour la plupart des sites B2B, non. Encore faut-il comprendre ce que chaque robot fait réellement avant de toucher au robots.txt.
Trois familles de robots, trois décisions distinctes
La première erreur consiste à parler « des bots IA » comme d’un bloc. Chaque éditeur opère en réalité plusieurs robots, avec des fonctions bien différentes.
Les robots d’entraînement collectent vos contenus pour nourrir les futurs modèles. GPTBot chez OpenAI, ClaudeBot chez Anthropic, Meta-ExternalAgent chez Meta, CCBot pour Common Crawl. Google et Apple procèdent autrement : Google-Extended et Applebot-Extended ne sont pas des robots mais des directives d’opt-out à déclarer dans votre robots.txt.
Les robots de recherche, eux, indexent vos pages pour les moteurs de réponse. OAI-SearchBot alimente la recherche de ChatGPT, Claude-SearchBot celle de Claude, PerplexityBot l’index de Perplexity. Détail souvent ignoré : d’après sa documentation officielle, PerplexityBot ne sert pas à entraîner des modèles. Le ranger avec GPTBot est une confusion courante, y compris chez des sites spécialisés.
Restent les robots de consultation à la demande. ChatGPT-User, Claude-User ou Perplexity-User visitent une page précise au moment où un utilisateur pose une question qui la concerne. OpenAI et Perplexity assument dans leur documentation que ces requêtes, initiées par un humain, peuvent ignorer le robots.txt.
Bloquer « les bots IA » n’existe pas. Vous prenez trois décisions distinctes : une sur l’entraînement, une sur l’indexation, une sur la consultation en direct.
Ce qu’un blocage dans robots.txt protège vraiment
Moins de choses qu’on ne le croit. D’abord, le blocage ne vaut que pour l’avenir. Les modèles déjà entraînés conservent ce qu’ils ont ingéré : interdire GPTBot aujourd’hui ne retire rien des modèles en production. Le New York Times bloque le robot d’OpenAI depuis 2023, ce qui ne l’empêche pas de recevoir chaque mois des centaines de milliers de visites venues de ChatGPT.
Ensuite, le robots.txt reste un panneau d’interdiction, pas une serrure. Les robots déclarés des grands éditeurs le respectent, OpenAI et Anthropic en tête. Mais Cloudflare a documenté en août 2025 que Perplexity contournait certains blocages avec des robots non déclarés, déguisés en navigateur Chrome. L’entreprise a contesté ces conclusions. L’épisode a tout de même entamé la confiance, et rappelé qu’une vraie protection passe par un blocage au niveau du serveur ou du CDN, pas par un fichier texte.
Dernier point, source de confusion massive : bloquer Google-Extended ne vous retire ni de Google Search ni des AI Overviews. La documentation de Google est explicite sur ce point. Cette directive contrôle uniquement l’usage de vos contenus pour l’entraînement des futurs modèles Gemini. C’est Googlebot, le même robot que la recherche classique, qui alimente les résumés IA en tête des résultats. Pour en sortir, il faudrait renoncer à Google tout court.
Le réflexe de blocage vient des médias, pas des entreprises
Les chiffres de blocage spectaculaires proviennent presque tous de la presse. 79 % des grands sites d’information américains et britanniques bloquent au moins un robot d’entraînement, selon une étude BuzzStream actualisée en 2026. En France, le mouvement est plus timide : une étude LVLUP de novembre 2025 portant sur 1 132 sites de presse mesure 22,6 % de blocage d’au moins un robot IA.
Cette défiance se comprend. Un média vit de son audience, et chaque réponse générée à partir de ses articles sans clic vers son site représente un manque à gagner direct. Les ratios publiés par Cloudflare donnent la mesure du déséquilibre : à l’été 2025, Anthropic crawlait environ 38 000 pages pour chaque visiteur renvoyé, OpenAI près de 1 100, contre 5 à 6 pages pour Google. Résultat : procès en série, accords de licence, et depuis juillet 2025 un blocage par défaut des crawlers IA chez Cloudflare pour tout nouveau domaine.
Votre site B2B ne joue pas dans cette catégorie. Votre contenu n’est pas votre produit, c’est un aimant. Un article de blog repris dans une réponse qui mentionne votre marque travaille pour vous, même sans clic. Le calcul qui pousse un quotidien national à fermer ses pages n’a aucune raison de s’appliquer à une PME qui vend des prestations ou des logiciels.
La bonne question n’est pas « les IA exploitent-elles mon contenu ? » mais « mon modèle économique dépend-il de la page vue ? ». Pour un site B2B, la réponse est presque toujours non.
Ce que vous perdez en fermant la porte
Bloquer les robots de recherche et de consultation revient à disparaître des réponses. Sans OAI-SearchBot, pas de présence dans la recherche de ChatGPT. Sans PerplexityBot, pas de citation dans Perplexity. Or vos prospects utilisent déjà ces outils pour présélectionner leurs fournisseurs, comparer des approches, vérifier une réputation.
Le trafic envoyé par les assistants reste modeste, moins de 1 % du trafic organique selon les mesures de Semrush et d’Ahrefs. Mais il progresse vite, avec un trafic sortant de ChatGPT en hausse de 206 % sur un an. Sa qualité, surtout, surprend. Sur un cas B2B documenté par l’agence Seer Interactive, les visiteurs venus de ChatGPT convertissaient à 15,9 %, contre 1,76 % pour le trafic organique Google. L’explication tient en une phrase : l’utilisateur a fait son tri dans la conversation, il arrive sur votre site déjà convaincu.
Concrètement, autoriser ces robots est la condition d’entrée pour apparaître dans les réponses de ChatGPT et Perplexity . Le blocage, lui, laisse le champ libre aux concurrents : les assistants citeront leurs contenus à la place des vôtres.
Comment trancher pour votre site B2B
La méthode tient en trois étapes.
Commencez par mesurer. Vos logs serveur ou votre CDN listent les user-agents qui visitent vos pages : volume de requêtes par robot, pages concernées, fréquence. Regardez aussi dans votre outil analytics la part de trafic référent venant de chatgpt.com, perplexity.ai ou gemini.google.com. Décider sans ces chiffres revient à débattre dans le vide.
Décidez ensuite famille par famille :
- Robots de recherche (OAI-SearchBot, PerplexityBot, Claude-SearchBot) : autorisez-les. C’est votre visibilité dans les moteurs de réponse.
- Robots de consultation (ChatGPT-User, Claude-User) : autorisez-les aussi. Ils servent un prospect en train de se renseigner sur vous.
- Robots d’entraînement (GPTBot, ClaudeBot, CCBot) : le seul vrai arbitrage. Si vos contenus visent la notoriété, l’autorisation augmente vos chances d’être connu des futurs modèles. Si vous publiez des données exclusives, études propriétaires ou benchmarks payants, le blocage se défend.
- Directives d’opt-out (Google-Extended, Applebot-Extended) : même logique que l’entraînement, sans aucun effet sur votre référencement classique.
Enfin, réévaluez tous les six mois. Le paysage bouge vite : nouveaux robots, nouvelles règles chez les CDN, standards de licence en cours d’adoption. Inscrivez la revue du robots.txt dans vos rituels SEO, au même titre que le suivi de positions. Cet arbitrage s’inscrit d’ailleurs dans une bascule plus large, celle que la recherche générative impose à la visibilité des marques .
Questions fréquentes
Bloquer GPTBot fait-il baisser mon référencement Google ?
Non. GPTBot appartient à OpenAI et n’a aucun lien avec Googlebot. Vous pouvez bloquer tous les robots d’IA générative sans le moindre effet sur vos positions dans Google Search.
Comment savoir quels robots IA visitent mon site ?
Filtrez vos logs serveur sur les user-agents GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot ou ChatGPT-User. Si votre site passe par Cloudflare, le tableau de bord AI Crawl Control affiche ces visites sans manipulation technique.
Faut-il bloquer Google-Extended pour sortir des AI Overviews ?
Cela ne fonctionne pas. Les AI Overviews sont alimentés par Googlebot, pas par Google-Extended, qui ne concerne que l’entraînement des modèles Gemini. Seules les balises nosnippet ou max-snippet limitent la reprise de vos extraits, au prix d’une visibilité réduite partout dans Google.
Le blocage retire-t-il mon contenu de ChatGPT ?
Non. Bloquer GPTBot empêche la collecte pour les entraînements futurs, mais les modèles existants conservent ce qu’ils ont déjà appris. Par ailleurs, tant que la consultation à la demande reste ouverte, ChatGPT peut toujours visiter vos pages pour répondre à un utilisateur.
Autoriser les robots de recherche, arbitrer au cas par cas sur l’entraînement, vérifier ses logs deux fois par an : voilà la position raisonnable pour un site B2B en 2026. Le débat sur le pillage des contenus concerne les éditeurs qui vivent de leur audience. Vous, vous vivez de vos clients. Et vos prochains clients posent déjà leurs questions à des assistants IA.