SEO : un week-end de 403 rappelle qu’il faut se méfier des régressions

le

Une règle modifiée dans Cloudflare a bloqué les robots de Google pendant un week-end, et une quarantaine de pages d’un site e-commerce ont disparu de l’index du moteur de recherche. Le problème a été corrigé, et presque toutes les pages sont revenues dans l’index en moins de 24 heures.

SEO : un week-end de 403 rappelle qu’il faut se méfier des régressions

Lundi matin, une alerte de la Search Console a attiré l’attention sur le site d’un client, un e-commerce qui vend des activités de loisirs. Le contrôle d’indexation lancé chaque lundi a confirmé qu’une quarantaine de pages, sur environ 300, n’étaient plus dans l’index de Google, dont les pages principales du site.

La cause remontait au vendredi soir. L’infogérant du site avait modifié une règle dans Cloudflare, le service placé devant le serveur. Cette règle bloquait les robots de Google, qui recevaient à chaque visite une erreur 403, « accès interdit ». Les visiteurs, eux, voyaient le site normalement, si bien que le blocage est resté invisible tout le week-end.

Le moment était particulièrement mal choisi, à quelques jours du Black Friday, l’une des périodes les plus importantes de l’année pour ce client. Une fois la règle corrigée, les pages ont été réindexées depuis la Search Console.

Google explique dans sa documentation sur les codes HTTP qu’une erreur 403 appartient à la famille des erreurs 4xx, comme la 404. Pour le moteur, le contenu n’est plus disponible : une page déjà indexée qui renvoie une 403 est donc retirée de l’index. Google précise même de ne jamais utiliser les codes 401 et 403 pour ralentir ses robots. Les erreurs serveur (5xx) sont traitées autrement : Google ralentit d’abord son exploration, puis revient plus tard. Si l’erreur dure, les pages finissent elles aussi par sortir de l’index, mais plus lentement.

Un week-end de 403 laisse donc largement le temps à Googlebot de passer sur les pages principales, qu’il visite le plus souvent. À chaque passage, il reçoit le même message : cette page n’existe plus.

Une régression SEO, c’est quoi ?

Une régression SEO désigne un élément qui fonctionnait et qui se dégrade sans que personne ne l’ait décidé. Une mise à jour d’extension, une migration de serveur, un réglage de sécurité ou une modification de gabarit peuvent en être la cause. Le changement est fait pour une bonne raison, mais son effet sur le référencement n’a pas été anticipé.

Le terme vient du développement logiciel, où les « tests de non-régression » vérifient qu’une nouvelle version ne casse rien de ce qui fonctionnait. Une régression se distingue d’une mise à jour de Google : après une Core Update, la cause se trouve chez Google, alors qu’avec une régression, elle est chez vous, et vous pouvez la corriger.

Ces incidents se repèrent rarement le jour où ils surviennent. L’effet peut être retardé de deux ou trois semaines, le cache peut masquer une panne, et un blocage en amont, par un pare-feu ou par Cloudflare, ne laisse aucune trace dans les logs du serveur. Abondance raconte ainsi avoir laissé une page de reacteur.com en erreur 500 pendant 8 jours, faute d’alerte configurée.

Comment les repérer et réagir

Le plus efficace reste de bloquer la régression avant sa mise en production. Une courte liste de contrôle SEO, ajoutée à la recette, peut couvrir le robots.txt, la balise meta robots, l’en-tête X-Robots-Tag, les canonicals et les titles des pages clés. Un journal des changements, avec la date, l’auteur et la nature de chaque modification, permet ensuite de rattacher une baisse de trafic à son origine.

Des outils gratuits aident aussi à détecter les problèmes. La Search Console envoie des e-mails en cas de problème, à condition qu’ils arrivent dans une boîte que quelqu’un lit. Une sonde de disponibilité comme UptimeRobot ou Better Stack interroge le site toutes les quelques minutes. Des outils payants comme Time Machine, développé par Florian Bessonnat chez Simplex, capturent les pages toutes les heures et relèvent une trentaine de signaux SEO.

Si la régression est déjà là, la méthode suivie par l’auteur de l’article commence par corriger la cause, en désactivant la règle ou en restaurant le fichier. Il faut ensuite vérifier ce que reçoit Googlebot avec l’outil d’inspection d’URL de la Search Console, demander l’indexation des pages les plus importantes, renvoyer le sitemap, puis suivre la reprise jour après jour.

Selon Florian Bessonnat, ce n’est jamais au patron ou au client de faire remonter un bug.

Product offers are temporarily unavailable.