Aller au contenu
Cercle IA · Référencement Un site du réseau Cercle IA

Guide

Bloquer les robots des IA avec robots.txt

Bloquer les robots d'IA avec robots.txt : noms des agents publiés par Google, OpenAI et Anthropic, limites du fichier. Lu le 15/11/2026.

Mis à jour le

Un choix à faire pour chaque robot
  1. lister les robots qui explorent réellement le site, dans les journaux du serveur si l'hébergeur les fournit ;
  2. décider pour chaque robot s'il doit être autorisé, bloqué ou ralenti ;
  3. écrire le fichier à la racine de chaque sous-domaine, puis le tester en ouvrant son adresse ;
  4. relire la décision tous les six mois, car les noms et les usages changent.

Le fichier robots.txt est le moyen le plus connu pour dire aux robots d'exploration ce qu'ils peuvent visiter sur un site. Depuis que les éditeurs d'IA publient des robots distincts, beaucoup de dirigeants se demandent s'il faut les bloquer. Cette page explique comment fonctionne le fichier, quels robots sont décrits par leurs éditeurs, et ce que le fichier ne peut pas faire. Toutes les informations viennent de pages officielles lues le 15/11/2026.

Comment fonctionne robots.txt

Le fichier est standardisé dans la RFC 9309. Il doit se trouver à la racine du site, sous le nom « /robots.txt » en minuscules, encodé en UTF-8 et servi comme texte brut. Chaque nom d'hôte a son propre fichier : un sous-domaine n'hérite pas de celui du domaine principal.

Quelques règles de la RFC méritent d'être connues :

  • Le fichier n'est pas un contrôle d'accès. La RFC le dit en toutes lettres : ces règles « ne sont pas une forme d'autorisation d'accès ». Un chemin listé dans le fichier est même visible par tout le monde.
  • Un robot suit le groupe qui correspond à son nom. S'il n'en trouve pas, il suit le groupe « * ».
  • Quand plusieurs règles correspondent à une même adresse, la plus spécifique l'emporte.
  • Si le fichier répond une erreur 4xx (absent, par exemple), le robot peut accéder à tout. Si le serveur répond une erreur 5xx, le robot doit d’abord considérer que tout est interdit ; la RFC prévoit des possibilités différentes si l’indisponibilité se prolonge.
  • Les robots peuvent garder une copie du fichier, mais ne devraient pas l'utiliser plus de 24 heures, sauf si le fichier est injoignable.

Un exemple de syntaxe, à titre d'illustration :

User-agent: GPTBot
Disallow: /

Cette règle demande à GPTBot de ne rien explorer sur le site. Elle ne retire pas les pages déjà indexées, et elle ne fonctionne que si le robot la respecte.

Préparer une observation partageable

Un échange pourrait comparer trois objectifs séparés : permettre la recherche, refuser l'entraînement et protéger un document privé. Faites préciser le mécanisme retenu pour chaque objectif ; une ligne Disallow publique ne devient pas une authentification et ne prouve pas que tous les agents l'ont lue.

Relier chaque règle à une décision explicite

Pour une discussion fictive, rédigez une fiche par objectif : limiter la collecte pour entraînement, conserver une présence dans la recherche ou réserver un document à l’équipe. Un pair devrait retrouver le mécanisme choisi, l’hôte concerné et la documentation de l’éditeur. Faites noter ce que l’observation des journaux permet de vérifier et ce qu’elle ne démontre pas. La décision doit rester compréhensible si un autre prestataire reprend le site ou si le rôle d’un robot évolue.

Pour examiner les données exposées aux systèmes IA, un cadrage des risques et des procédures peut compléter cette revue technique. Pour proposer une discussion à partir de documents publics ou fictifs, prenez rendez-vous avec le cercle.

Ce que Google dit de robots.txt

La documentation de Google sur robots.txt indique que le fichier sert surtout à éviter de surcharger un site de requêtes. Il gère le trafic des robots plus qu'il ne contrôle l'indexation. Surtout, la page affirme que robots.txt « n'est pas un mécanisme pour empêcher une page d'apparaître sur Google ». Pour retirer une page, il faut une directive noindex accessible au robot, ou une protection par mot de passe. Bloquer l'exploration empêche justement le robot de lire une nouvelle balise noindex. Une URL bloquée peut même apparaître dans les résultats, sans description, si d'autres sites la citent.

La même page précise que les règles sont des demandes : « il appartient au robot de les respecter ». Googlebot et les robots réputés les suivent, mais d'autres peuvent ne pas le faire. Un contenu sensible doit donc être protégé autrement.

Les robots que les éditeurs décrivent

Plusieurs éditeurs publient les noms de leurs robots. Nous ne citons ici que ceux dont nous avons lu la page officielle.

Google. La page des robots d'exploration de Google liste notamment Googlebot, GoogleOther et Google-Extended. Google-Extended sert à gérer l'usage de contenus pour entraîner les futures générations de modèles Gemini, ainsi que pour l'ancrage dans Gemini Apps et Vertex AI. La page précise que Google-Extended « n'a pas d'impact sur l'inclusion d'un site dans Google Search ».

OpenAI. Nous distinguons ici trois agents documentés par OpenAI, sans prétendre en donner une liste exhaustive. GPTBot sert à rendre ses modèles plus utiles et plus sûrs : bloquer GPTBot signale que le contenu ne doit pas servir à entraîner ces modèles. OAI-SearchBot sert aux fonctions de recherche de ChatGPT : le bloquer retire le site des réponses de recherche de ChatGPT, mais il peut rester visible comme lien de navigation. ChatGPT-User intervient quand une personne demande à ChatGPT de consulter une page ; la documentation précise que ces visites sont décidées par l'utilisateur et que les règles robots.txt peuvent ne pas s'appliquer.

Anthropic. La page d'aide d'Anthropic décrit trois robots. ClaudeBot collecte du contenu qui peut servir à entraîner ses modèles. Claude-User intervient quand un utilisateur de Claude pose une question qui nécessite la page ; le bloquer peut réduire la visibilité dans la recherche directement demandée par un utilisateur. Claude-SearchBot indexe le contenu pour la pertinence des réponses de recherche ; le bloquer peut réduire la visibilité dans ces réponses. La page indique qu'il faut ajouter la règle dans le robots.txt de chaque sous-domaine que l'on veut exclure. Elle précise aussi que ClaudeBot respecte une directive Crawl-delay, qui permet de ralentir ses requêtes sans les interdire.

Pour exprimer une demande de blocage des trois agents OpenAI, la syntaxe serait la suivante ; la ligne ChatGPT-User ne garantit pas le refus des visites déclenchées par l'utilisateur, sans étendre cette réserve à Claude-User : la documentation d’Anthropic indique, elle, que son blocage empêche la récupération en réponse à une demande utilisateur :

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

Ce que le fichier peut et ne peut pas faire

Le fichier permet de décider, robot par robot, ce qui peut être exploré pour entraîner des modèles, pour alimenter une recherche ou pour répondre à une question. Certaines extensions comme Crawl-delay peuvent ralentir les robots qui les prennent en charge ; ce n'est pas une règle universelle de la RFC. C'est un outil de politique, pas de sécurité.

Il ne peut pas :

  • retirer une page déjà indexée par Google : il faut noindex, ou supprimer la page ;
  • protéger un contenu confidentiel : il faut une protection réelle, comme un mot de passe ;
  • forcer un robot qui ne suit pas la norme ;
  • empêcher les visites décidées par une personne, comme le signale la documentation d'OpenAI pour ChatGPT-User.

La page d'Anthropic signale aussi que bloquer leurs adresses IP peut ne pas fonctionner de manière fiable, car le robot ne peut plus lire le fichier robots.txt. La règle la plus fiable reste celle du fichier.

Un choix à faire pour chaque robot

Bloquer un robot d'entraînement ne fait pas disparaître un site des résultats de Google. Bloquer un robot de recherche d'un éditeur d'IA peut en revanche retirer le site de certaines réponses de cet éditeur. Les effets sont différents selon le robot, et il faut les lire un par un.

Pour une PME, une démarche raisonnable consiste à :

  1. lister les robots qui explorent réellement le site, dans les journaux du serveur si l'hébergeur les fournit ;
  2. décider pour chaque robot s'il doit être autorisé, bloqué ou ralenti ;
  3. écrire le fichier à la racine de chaque sous-domaine, puis le tester en ouvrant son adresse ;
  4. relire la décision tous les six mois, car les noms et les usages changent.

Ce que nous ne savons pas

Les pages lues ne disent pas combien de robots d'IA existent, ni lesquels explorent un site donné. Nous ne donnons pas de liste exhaustive, et nous n'affirmons pas qu'un robot non cité n'existe pas.

Les noms de robots peuvent changer. Les pages des éditeurs donnent les noms à la date de lecture, le 15/11/2026, et indiquent parfois des versions dans la chaîne d'identification.

Résumé

Robots.txt permet de demander, robot par robot, ce qui peut être exploré. Il ne retire rien, ne protège rien et ne garantit pas le comportement des robots. Pour un contenu à garder hors d'une IA, il faut combiner le fichier avec une protection réelle, et vérifier le résultat.

Questions fréquentes

Bloquer Google-Extended retire-t-il mon site de Google Search ?

Non. Selon la page de Google sur ses robots d'exploration, Google-Extended n'a pas d'effet sur l'inclusion d'un site dans Google Search. Il concerne l'usage de contenus pour entraîner ou ancrer des modèles comme Gemini.

Un robots.txt empêche-t-il une page d'apparaître dans Google ?

Non. La documentation de Google indique que robots.txt n'est pas un moyen de tenir une page hors de Google. Il faut utiliser noindex ou protéger la page par un mot de passe.

Sources

Pages consultées pour écrire cet article :

  1. https://iarche.fr/services/conformite
  2. https://www.rfc-editor.org/rfc/rfc9309
  3. https://developers.google.com/search/docs/crawling-indexing/robots/intro
  4. https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
  5. https://developers.openai.com/api/docs/bots
  6. https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler

À lire aussi