Bloquer les IA dans son robots.txt sans perdre Google
Par Yann Nabusset
Cloudflare vient d’ajouter un réglage nommé Disallow AI Training, qui inscrit dans le robots.txt une préférence de non-entraînement tout en laissant Googlebot, Applebot et Bingbot continuer à parcourir le site pour la recherche. L’option Block, elle, devient le blocage total, moteurs de recherche compris.
C’est exactement l’inverse de ce que l’hébergeur annonçait quelques semaines plus tôt. Le plan initial prévoyait que tout site refusant l’entraînement perdrait aussi le passage de ces trois robots, au motif qu’ils font les deux métiers à la fois. Les deux anciennes cases, Block AI Bots et Managed Robots.txt, disparaissent, et les configurations existantes basculent automatiquement.
Un éditeur qui découvre ça se pose la seule question qui compte vraiment, et qui ne dépend d’aucun hébergeur : qu’est-ce qu’on laisse entrer dans son robots.txt quand on veut être lu par les intelligences artificielles sans leur servir gratuitement de matière première.
La réponse tient en une phrase. Vous bloquez les robots d’entraînement, vous laissez passer les robots de recherche, et vous acceptez que la frontière entre les deux soit poreuse.
Trois robots par éditeur, et ils ne font pas le même métier
C’est le point que la plupart des fichiers robots.txt ratent, et l’erreur coûte cher.
Chaque éditeur d’IA fait tourner une petite flotte, répartie par fonction. Un robot d’entraînement, qui collecte des pages pour nourrir les futurs modèles. Un robot de recherche, qui indexe pour alimenter les réponses en direct. Un robot déclenché par l’utilisateur, qui va chercher une page à l’instant où quelqu’un pose la question.
Les noms changent d’un éditeur à l’autre, les rôles se correspondent. Chez OpenAI, GPTBot entraîne, OAI-SearchBot indexe pour la recherche, ChatGPT-User va chercher la page à la demande. Chez Anthropic, ClaudeBot entraîne, Claude-SearchBot indexe, Claude-User récupère. Chez Perplexity, PerplexityBot indexe et Perplexity-User récupère. Google et Apple ont choisi une autre voie : un seul robot supplémentaire, Google-Extended et Applebot-Extended, qui ne sert qu’à autoriser ou refuser l’entraînement.
Conséquence directe : un fichier qui bloque tout ce qui ressemble à de l’IA supprime aussi votre présence dans les réponses de ChatGPT et de Perplexity. Vous ne protégez pas votre contenu, vous sortez du jeu.
Ce que chaque ligne vous coûte vraiment
| Robot | Ce qu’il fait | Faut-il le bloquer |
|---|---|---|
| GPTBot, ClaudeBot, CCBot | Entraînement des modèles | Oui, si vous ne voulez pas alimenter les modèles. Aucun effet sur votre visibilité dans les réponses |
| OAI-SearchBot, Claude-SearchBot, PerplexityBot | Indexation pour les réponses en direct | Non. Bloquer revient à disparaître des réponses de ces assistants |
| Google-Extended, Applebot-Extended | Entraînement chez Google et Apple uniquement | Oui, sans risque. Ni l’un ni l’autre n’intervient dans le classement de recherche |
Trois précisions qui changent la décision.
Google-Extended ne touche pas au référencement. La documentation de Google est explicite sur ce point : refuser ce robot n’a aucun effet sur l’indexation ni sur le classement, parce que Googlebot est un robot distinct. C’est la ligne la plus indolore de tout le fichier.
Bloquer OAI-SearchBot a un coût mesurable. OpenAI prévient ses éditeurs qu’un site qui ferme la porte à ce robot n’apparaît pas dans les réponses de recherche de ChatGPT. Des liens de navigation peuvent subsister, mais la citation disparaît. C’est un arbitrage, pas une précaution.
Bing n’est pas couvert. Le réglage de Cloudflare ne transmet pas encore de préférence de non-entraînement à Microsoft, dont le support est attendu pour le début de l’année prochaine. En attendant, le seul refus reconnu chez Bing passe par la balise NOARCHIVE, pas par le robots.txt.
La marche à suivre
- Lisez votre fichier actuel. Il se trouve à la racine, à l’adresse de votre site suivie de robots.txt. Neuf fois sur dix, il contient trois lignes héritées d’une extension et plus personne ne sait lesquelles.
- Repérez les blocages accidentels. Cherchez les lignes Disallow appliquées à OAI-SearchBot, Claude-SearchBot ou PerplexityBot. Si elles existent, vous êtes absent des réponses des assistants depuis un moment, sans l’avoir décidé.
- Décidez de votre position sur l’entraînement. Il n’y a pas de bonne réponse universelle. Un site qui vit de la vente de liens et de l’affiliation a intérêt à être cité partout et perd peu à nourrir les modèles. Un éditeur qui vend l’accès à ses contenus a l’arbitrage inverse.
- Écrivez les règles à la main. Un bloc par robot, avec la ligne User-agent puis la directive. Pour refuser l’entraînement tout en restant visible, vous posez Disallow deux points barre oblique sur GPTBot, ClaudeBot, CCBot, Google-Extended et Applebot-Extended, et Allow deux points barre oblique sur OAI-SearchBot, Claude-SearchBot, ChatGPT-User, Claude-User, PerplexityBot et Perplexity-User.
- Laissez Googlebot et Bingbot tranquilles. Ils n’ont rien à faire dans cette discussion. Toute règle qui les touche relève du référencement classique et se traite ailleurs.
- Si vous passez par Cloudflare, oubliez l’étape 4. Le réglage Disallow AI Training écrit ces lignes pour vous. Vérifiez seulement que vous n’avez pas coché Block, qui coupe désormais aussi les moteurs de recherche.
- Relisez le fichier une semaine plus tard. Les extensions de sécurité et de référencement réécrivent parfois le robots.txt sans prévenir. Un fichier juste le lundi ne l’est pas forcément le lundi suivant.
Les erreurs qui reviennent le plus souvent
Bloquer par mot-clé. Une règle posée sur tout ce qui contient le mot bot attrape Googlebot en premier. C’est la panne la plus spectaculaire et la plus facile à éviter.
Confondre Applebot et Applebot-Extended. Le premier alimente Siri et la recherche Apple, le second l’entraînement. Refuser le mauvais des deux vous sort de la recherche Apple sans rien protéger.
Croire que le robots.txt protège. Il ne protège rien du tout. C’est une préférence que les robots sérieux respectent et que les autres ignorent. Contre un aspirateur de contenu, seul un filtrage au niveau du serveur ou du réseau fonctionne.
Traiter le sujet comme un réglage définitif. Les noms de robots changent, les éditeurs en ajoutent, les règles du jeu bougent. Une revue par trimestre suffit, une revue jamais ne suffit pas.
Oublier la balise nosnippet. Chez Apple, garder son contenu hors des réponses générées dans Siri et la recherche ne passe pas par le robots.txt mais par cette balise. Le fichier ne couvre pas tout.
Ce qu’il faut retenir
Le robots.txt est devenu un document de position commerciale déguisé en fichier technique. Chaque ligne arbitre entre deux choses qui ne s’opposaient pas avant : la visibilité dans les réponses générées, et le refus de fournir de la matière première gratuite.
Pour un site qui vit de son audience, le réglage par défaut raisonnable est celui du tableau plus haut. Entraînement fermé, recherche ouverte, moteurs classiques intouchés. Ce n’est pas un choix militant, c’est le seul qui ne vous coûte rien pendant que vous réfléchissez au reste.
