Google ne relit pas votre site en entier à chaque passage. Il choisit. Sur un site vitrine de cinquante pages, ce tri passe inaperçu. Sur un catalogue industriel avec ses filtres, ses fiches techniques en PDF et ses trois versions linguistiques, c’est une autre histoire : une partie des URL attend des semaines avant d’être visitée, et ce ne sont pas toujours les moins importantes.

Le budget crawl, c’est ce que Google peut et veut explorer chez vous

Google définit le budget d’exploration comme « l’ensemble des URL que Google peut et veut explorer » sur un site. Deux mécanismes se cachent derrière cette formule.

Le premier est technique. Google parle de limite de capacité d’exploration, ou de charge de l’hôte : combien de connexions simultanées votre serveur supporte, et pendant combien de temps. Tant que les temps de réponse restent stables, la limite monte. Dès que le serveur ralentit ou renvoie des erreurs 5xx et des codes 429, Googlebot lève le pied.

Le second tient à l’intérêt que Google porte à vos pages. Cette demande d’exploration dépend de l’inventaire d’URL qu’il perçoit, de la popularité des pages et de leur fraîcheur. Une fiche que personne ne lie et qui n’a pas bougé depuis 2019 glisse logiquement en bas de la file.

Deux précisions échappent souvent aux équipes marketing. Pour Google, un site correspond à un nom d’hôte : www., docs. et shop. disposent chacun de leur propre budget. Et cette capacité se partage entre tous les robots de Google, Googlebot-Image et AdsBot compris, comme l’indique la documentation officielle sur le budget d’exploration .

Le budget crawl n’est pas un facteur de classement. C’est une condition préalable : une page que Google n’explore pas ne peut pas se positionner.

Votre site B2B est-il vraiment concerné ?

Pour une majorité de PME, la réponse honnête est non. Google destine son guide aux sites de plus d’un million de pages uniques mis à jour chaque semaine, à ceux de plus de 10 000 pages qui changent quotidiennement, et à ceux dont une forte proportion d’URL reste au statut « Détectée, actuellement non indexée ». Il précise lui-même qu’il ne s’agit « pas de seuils exacts ». Dès 2017, Gary Illyes écrivait qu’en dessous de quelques milliers d’URL, Google explore correctement un site la plupart du temps.

Le problème, c’est que le nombre de pages que vous pensez avoir n’est pas celui que Google voit. Un distributeur de 300 références doté d’une navigation à facettes peut générer des dizaines de milliers de combinaisons d’URL. Autrement dit, un petit site sur le papier devient un gros site pour le robot.

Vous êtes probablement concerné si plusieurs de ces signaux apparaissent :

Aucun de ces cas ne vous parle ? Vos difficultés d’indexation viennent d’ailleurs. Les raisons pour lesquelles Google ignore certaines pages relèvent alors plutôt de la qualité du contenu ou des balises que d’un quota d’exploration.

Mesurer le budget crawl sans outil coûteux

Le rapport Statistiques sur l’exploration

Premier réflexe : la Search Console, rubrique Paramètres, puis « Statistiques sur l’exploration ». Google y affiche sur 90 jours le nombre total de requêtes, le volume téléchargé, le temps de réponse moyen et l’état de l’hôte. Les ventilations parlent davantage que les totaux, qu’il s’agisse des codes de réponse, des types de fichiers, des différents Googlebot ou de l’objectif du passage : découverte d’une nouvelle URL ou actualisation d’une page connue.

Trois lectures à faire en priorité. La part des requêtes qui aboutissent sur autre chose qu’un code 200. La part consacrée à la découverte, si vous publiez régulièrement. Et la courbe du temps de réponse, à superposer à celle des requêtes.

Un détail mérite l’attention : Google compte chaque étape d’une chaîne de redirections comme une requête distincte. Résultat : trois sauts successifs coûtent trois visites pour une seule page servie. Google prévient d’ailleurs que ce rapport présente peu d’intérêt en dessous de 1 000 pages.

Les logs serveur, même sur un hébergement mutualisé

La Search Console fournit des agrégats. Les logs, eux, donnent le détail URL par URL. Nul besoin d’une plateforme d’analyse facturée plusieurs centaines d’euros par mois pour un premier diagnostic : la plupart des hébergeurs mutualisés, O2switch ou OVH par exemple, proposent le téléchargement des logs bruts depuis leur panneau d’administration.

La méthode tient en quatre temps :

  1. Récupérez au moins quatre semaines de logs d’accès.
  2. Filtrez les lignes dont le user-agent contient « Googlebot », puis vérifiez par résolution DNS inverse que les adresses IP pointent bien vers googlebot.com ou google.com. Beaucoup de robots usurpent ce nom.
  3. Regroupez les URL par gabarit : fiches produit, pages filtrées, PDF, articles, recherche interne.
  4. Mettez en face de chaque gabarit sa part de crawl et sa valeur commerciale.

Pour les volumes d’une PME, un tableur suffit. Ce croisement fait souvent émerger le vrai problème en un après-midi, par exemple une majorité de visites de Googlebot sur des URL filtrées que personne n’a jamais voulu voir dans Google.

Où le budget crawl fuit sur un site B2B

Chez Google, le diagnostic ne laisse guère de doute. En décembre 2024, Gary Illyes présentait la navigation à facettes comme la source « de loin la plus courante » des problèmes de surexploration signalés par les propriétaires de sites. Dans le bilan 2025 de l’équipe crawl, rapporté par Search Engine Journal , les facettes représentent environ la moitié des problèmes recensés, les paramètres d’action (ajout au panier ou au devis, tri, impression) environ un quart.

Sur un site B2B, les mêmes fuites reviennent avec une régularité remarquable :

Le serveur, la fuite qui ne se voit pas dans les URL

Dernier poste, plus discret. Un serveur lent fait baisser la capacité d’exploration, quelle que soit la qualité de vos pages. Gary Illyes rappelait en 2025 que les appels coûteux à la base de données pèsent plus lourd que le nombre de pages lui-même.

Or les robots d’IA ajoutent désormais leur charge à celle de Googlebot. Sur le réseau de Vercel, GPTBot et le robot de Claude ont cumulé près de 940 millions de requêtes en un mois fin 2024, avec environ 35 % de réponses en 404, contre 8 % pour Googlebot, selon l’étude publiée par Vercel . Sur un hébergement mutualisé, ces pics dégradent le temps de réponse que Google mesure à son tour.

Bloquer un robot d’IA ne crée aucun budget supplémentaire pour Google. Mais un serveur moins sollicité répond plus vite, et c’est précisément ce que Googlebot surveille.

Ce qui ne libère aucun budget crawl

Plusieurs réflexes très répandus n’apportent rien. Certains aggravent même la situation.

Le noindex. Google doit explorer la page pour lire la balise. Sa documentation l’écrit en toutes lettres : la demande d’exploration a lieu quand même, ce qui « consomme inutilement des ressources d’exploration ». Le noindex règle un problème d’indexation, pas de crawl.

Le robots.txt utilisé comme un robinet. Bloquer une section quelques semaines pour concentrer Googlebot ailleurs ? Google le déconseille explicitement, et les URL bloquées restent plus longtemps dans sa file d’attente.

La directive crawl-delay. Googlebot ne la lit pas.

Le sitemap soumis à répétition. Il aide Google à découvrir des URL et, via la balise lastmod, à repérer celles qui ont changé. Il ne crée aucune capacité supplémentaire.

Réallouer le crawl vers les pages qui comptent

Optimiser son budget crawl revient rarement à obtenir davantage de visites de Googlebot. Concrètement, l’enjeu consiste à mieux les répartir, au profit des pages services, des fiches produit stratégiques et des contenus récents.

  1. Fermer les espaces infinis. Pour les facettes, Google recommande le robots.txt ou les fragments d’URL (#) et juge canonical et nofollow « généralement moins efficaces à long terme ». Gardez indexables les quelques combinaisons qui correspondent à une vraie recherche, du type « vanne inox DN50 », et renvoyez un 404 pour les filtres sans résultat.
  2. Répondre franchement. Un 404 ou un 410 pour les pages supprimées définitivement, une redirection directe en un seul saut pour les autres.
  3. Rationaliser les PDF. Une URL stable par document, la dernière version toujours à cette adresse, les anciennes redirigées.
  4. Tenir un sitemap propre, limité aux URL canoniques indexables, avec un lastmod qui reflète une modification réelle.
  5. Activer le cache HTTP. Avec les en-têtes ETag ou Last-Modified, le serveur peut répondre 304 quand rien n’a changé. Selon Google Search Central , seules 0,017 % des requêtes d’exploration de Google sont aujourd’hui cachables : la marge de progrès reste énorme.
  6. Remonter les pages stratégiques dans le maillage. Une page à six clics de l’accueil reçoit beaucoup moins de visites qu’une page liée depuis le menu. Une architecture en silos thématiques règle l’essentiel de ce problème.
  7. Soigner le temps de réponse, en particulier sur les pages générées à la volée depuis l’ERP ou le PIM.

Par où commencer cette semaine

Inutile de tout lancer en même temps. L’ordre suivant évite de corriger des problèmes qui n’existent pas :

  1. Ouvrez « Statistiques sur l’exploration » et notez trois chiffres : requêtes par jour, temps de réponse moyen, part des réponses autres que 200.
  2. Comparez le nombre d’URL de votre sitemap au nombre de pages indexées dans le rapport « Indexation des pages ». Un écart fort sur vos gabarits stratégiques justifie d’aller plus loin.
  3. Le cas échéant, téléchargez un mois de logs et classez les passages de Googlebot par gabarit.
  4. Traitez d’abord la fuite principale, souvent les facettes ou les PDF, puis laissez quatre à six semaines au robot avant d’ouvrir un autre chantier.

Questions fréquentes

À partir de combien de pages faut-il se préoccuper du budget crawl ?

Google vise d’abord les sites de plus de 10 000 pages modifiées chaque jour et ceux qui dépassent le million de pages. En dessous de quelques milliers d’URL réelles, le sujet passe rarement en priorité. Comptez toutefois les URL générées par les filtres et les PDF, pas seulement les pages du menu.

Les fichiers PDF consomment-ils du budget crawl ?

Oui. Googlebot explore un PDF comme n’importe quelle URL et peut en lire jusqu’à 64 Mo. Des centaines de fiches techniques déclinées en plusieurs versions occupent donc une part réelle des visites du robot.

Bloquer GPTBot ou ClaudeBot augmente-t-il le budget de Google ?

Pas directement : chaque robot fonctionne de façon indépendante. En revanche, un serveur moins chargé répond plus vite, et Google ajuste sa capacité d’exploration au temps de réponse qu’il observe.

Peut-on demander à Google d’explorer son site plus souvent ?

Aucun réglage ne le permet, et la Search Console n’offre plus d’outil de limitation depuis janvier 2024. Google explore davantage quand le serveur suit et quand les pages suscitent de la demande : contenus mis à jour, liens entrants, popularité. Le levier passe par la performance et la qualité.

Le budget crawl ne concerne pas tous les sites B2B. Mais dès qu’un catalogue, une documentation ou des déclinaisons linguistiques entrent en jeu, il conditionne la vitesse à laquelle vos nouvelles pages atteignent vos prospects. Mesurer avant d’agir, fermer les fuites avant d’espérer plus de passages : l’ordre compte autant que les actions elles-mêmes.

Retour au blog