Dans un article du 11 novembre 2026, Google revient sur les difficultés que peuvent rencontrer les sites qui basculent vers un CDN. Juste après la migration, le trafic des robots d’exploration peut augmenter fortement vers le serveur d’origine, et une protection trop générale contre les robots risque de bloquer Googlebot. Google détaille aussi les mesures à prendre pour éviter ces problèmes.
Pourquoi le trafic des robots augmente après une migration
Un CDN (Content Delivery Network) distribue les éléments d’un site sur des serveurs dits « périphériques », répartis dans le monde et placés au plus près des utilisateurs. Il sert à réduire le temps de chargement pour les visiteurs et à protéger le serveur d’origine, qui héberge le contenu source, contre les pics de trafic.
Pourtant, certains propriétaires de sites signalent à Google un effet inverse dans les premiers temps : le trafic des robots vers leur serveur grimpe presque aussitôt après la bascule. Google explique ce phénomène par la manière dont il calcule la limite de capacité d’exploration, aussi appelée « charge de l’hôte ». Ses systèmes surveillent en permanence la réactivité du serveur. Des réponses lentes poussent les robots à ralentir, tandis que des réponses rapides et stables indiquent une infrastructure saine, et la limite augmente progressivement. Dès que le DNS pointe vers le réseau du CDN, les temps de réponse chutent nettement, ce qui revient, pour les systèmes de Google, à une mise à niveau matérielle importante. Les robots accélèrent alors leurs requêtes.
Le serveur d’origine, point faible au lancement
Un CDN neuf démarre cependant avec un cache vide. Lors de la première requête sur une URL, le serveur périphérique n’a pas de copie de la ressource, ce que Google appelle un « échec de cache ». Il doit alors remonter jusqu’à l’origine, récupérer la réponse et la stocker avant de la servir. Google résume la situation ainsi : au lancement d’un CDN, le véritable goulot d’étranglement reste le serveur d’origine.
Le problème vient de la différence de comportement entre visiteurs et robots. Les humains se concentrent sur quelques pages populaires, qui remplissent vite le cache, alors que les robots parcourent systématiquement tout l’inventaire d’URL, y compris les pages rarement consultées. Les réponses rapides du CDN incitent Googlebot à explorer davantage, et chaque nouvelle URL visitée provoque un échec de cache. Google nuance toutefois que la hausse n’est pas immédiate et que de nombreux CDN régulent les connexions pour lisser les pics.
Protection anti-robots et plan d’action
Face à un afflux de requêtes automatisées, activer la protection globale contre les robots peut sembler tentant. Google rappelle que ces règles traitent tout le trafic automatisé de la même manière, y compris les robots que le site a intérêt à laisser passer. Lorsqu’un CDN ou un WAF (pare-feu d’application web) impose un test de type CAPTCHA, Googlebot échoue. Les conséquences décrites par Google sont un blocage des robots, une mauvaise interprétation du site, qui peut sembler délibérément restreint ou défectueux, puis une désindexation progressive, les pages commençant à disparaître des résultats de recherche. Le récapitulatif du billet cite explicitement les erreurs 403 et les pages de test comme des formes de blocage à éviter.
Google propose un plan en plusieurs volets. Il conseille d’autoriser les robots validés dans le CDN et le WAF, la plupart de ces outils proposant une règle gérée pour les robots connus, et d’identifier Googlebot grâce aux plages d’adresses IP publiées par Google. Il recommande aussi de cibler les robots indésirables plutôt que tout le trafic automatisé. Avant la bascule, il suggère de préremplir les caches avec les pages à fort trafic, les futures pages à fort trafic et les URL les plus explorées. Si la surcharge persiste pendant ce remplissage, des codes 429 ou 503 peuvent servir de frein temporaire, pendant quelques heures à un ou deux jours au maximum.
Product offers are temporarily unavailable.

