Aller au contenu
mirok

Crawlers IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended)

Les crawlers IA sont les robots d'exploration utilisés par les éditeurs d'intelligence artificielle pour collecter des pages web, soit pour entraîner leurs modèles, soit pour alimenter les réponses de leurs moteurs en temps réel. Ils s'identifient par un user-agent, comme GPTBot, ClaudeBot ou PerplexityBot, et la plupart respectent le robots.txt.

Pourquoi les crawlers IA concernent-ils votre site ?

Ces robots déterminent en partie si votre contenu peut être lu et cité par les assistants IA. Les éditeurs distinguent souvent plusieurs robots selon l'usage. D'après leur documentation publique, OpenAI utilise GPTBot pour la collecte liée à l'entraînement, OAI-SearchBot pour la recherche de ChatGPT et ChatGPT-User pour les visites déclenchées par un utilisateur. Anthropic utilise ClaudeBot, Perplexity utilise PerplexityBot.

Google-Extended est un cas à part : ce n'est pas un robot distinct mais un jeton de robots.txt qui permet de refuser que vos contenus servent à certains usages des modèles Gemini. Il n'affecte pas votre présence dans la recherche Google, AI Overviews compris, qui reste gérée par Googlebot.

Bloquer un robot d'entraînement et autoriser un robot de recherche sont donc deux décisions différentes. Beaucoup de sites bloquent tout par réflexe, et disparaissent ainsi des réponses où ils auraient pu être cités.

Comment gérer les crawlers IA sur votre site ?

  1. 1Inventoriez les robots qui visitent déjà votre site à partir de vos journaux serveur ou de votre CDN.
  2. 2Décidez, robot par robot, ce que vous acceptez : recherche et citation, entraînement, ou rien.
  3. 3Traduisez ces décisions dans robots.txt avec un bloc User-agent par robot et des règles Allow / Disallow explicites.
  4. 4Vérifiez que votre pare-feu, votre CDN ou une protection anti-bots ne bloque pas silencieusement les robots que vous avez autorisés.
  5. 5Consultez la documentation officielle de chaque éditeur : les noms de robots et leurs usages évoluent.
  6. 6Revoyez ces règles régulièrement, par exemple à chaque trimestre.

Quelles erreurs éviter avec les crawlers IA ?

  • Copier un robots.txt « anti-IA » trouvé en ligne sans en mesurer l'effet sur votre visibilité.
  • Croire que robots.txt est une protection technique : c'est une consigne que les robots sérieux respectent, pas un verrou.
  • Confondre Google-Extended et Googlebot, et bloquer la recherche Google par erreur.
  • Oublier les règles de protection du CDN, qui renvoient parfois des erreurs 403 aux robots IA.