Début novembre 2026, un relevé a porté sur les fichiers robots.txt de 50 sites français, dont 43 étaient lisibles. Le constat le plus net concerne la presse : neuf des dix titres lus restreignent au moins un robot de citation des intelligences artificielles, alors qu’aucun site hors presse de l’échantillon n’en restreint.
Trois robots par éditeur, aux rôles différents
Chez OpenAI, la documentation des robots en distingue plusieurs. GPTBot récupère des pages pour entraîner les modèles, OAI-SearchBot fait apparaître les sites dans la recherche de ChatGPT, et ChatGPT-User va chercher une page précise lorsqu’un utilisateur pose une question qui l’exige. Les réglages sont indépendants : on peut autoriser OAI-SearchBot tout en refusant GPTBot, ce qui revient à dire oui à la citation et non à l’entraînement.
Perplexity suit une logique comparable. Selon l’éditeur, PerplexityBot sert à référencer et à lier les sites, et n’est pas utilisé pour collecter du contenu destiné aux modèles de fondation. Perplexity-User, lui, va chercher la page quand quelqu’un pose une question, et Perplexity indique que ce récupérateur ignore généralement les règles du robots.txt, puisque la demande vient d’un humain.
Bloquer GPTBot et bloquer OAI-SearchBot sont donc deux décisions différentes : la première protège vos textes, la seconde vous retire des réponses.
La presse ferme sa rédaction et laisse ouverte sa boutique
Sur les 43 fichiers lus, 19 restreignent au moins un robot d’entraînement, mais dix seulement restreignent un robot de citation, dont neuf titres de presse. Sept de ces dix sites ne ferment pas tout : ils bloquent les robots de recherche des IA, puis rouvrent quelques rubriques. Les Échos ferme son site à OAI-SearchBot et à PerplexityBot, mais laisse ouverte sa rubrique de contenus de marque, /thema. Ouest-France conserve /shopping/, /tourisme/ et /publi-info/ accessibles.
Trois titres ferment sans exception : Libération, France TV Info et Le Monde, ce dernier uniquement pour le robot de recherche d’Anthropic. Le Figaro laisse en revanche accessible la page /elections/resultats, que l’auteur du relevé rattache au service public de l’information.
Pour un annonceur, la conséquence est concrète. Si vous achetez un publi-rédactionnel dans un grand titre, cette page fait peut-être partie des rares contenus que ChatGPT et Perplexity peuvent lire et citer sur ce domaine. Ce critère ne figure dans aucun média-kit, et il se vérifie en trente secondes.
Le blocage qui ne se voit pas dans le robots.txt
Un fichier correctement réglé ne suffit pas toujours. Google indique, dans sa page destinée aux éditeurs, qu’il faut vérifier que l’exploration est autorisée dans le robots.txt, mais aussi par le CDN ou l’hébergement. Sept sites sur 50 n’ont pas répondu, dont six par un refus 403 opposé à un agent identifié qui demandait un simple fichier texte public. Leur robots.txt n’interdisait rien, mais leur protection anti-robots, si.
Pour repérer ce type de blocage, le relevé propose de consulter les logs serveur sur trente jours et d’y chercher le passage d’OAI-SearchBot, de PerplexityBot et de ClaudeBot. S’ils sont absents alors que le robots.txt les autorise, le problème se situe ailleurs.
Product offers are temporarily unavailable.

