Saltar al contenido
mirok

Rastreadores de IA (GPTBot, ClaudeBot, PerplexityBot, Google-Extended)

Los rastreadores de IA son los robots que usan las empresas de inteligencia artificial para recopilar páginas web, ya sea para entrenar sus modelos o para alimentar en tiempo real las respuestas de sus motores. Se identifican con un user-agent, como GPTBot, ClaudeBot o PerplexityBot, y la mayoría respeta el robots.txt.

¿Por qué te afectan los rastreadores de IA?

Estos robots determinan en parte si tu contenido puede ser leído y citado por los asistentes de IA. Las empresas suelen usar varios robots según el uso. Según su documentación pública, OpenAI usa GPTBot para la recopilación relacionada con el entrenamiento, OAI-SearchBot para la búsqueda de ChatGPT y ChatGPT-User para las visitas iniciadas por un usuario. Anthropic usa ClaudeBot y Perplexity usa PerplexityBot.

Google-Extended es un caso aparte: no es un robot distinto, sino un token de robots.txt que te permite rechazar que tu contenido se use para ciertos usos de los modelos Gemini. No afecta a tu presencia en la búsqueda de Google, AI Overviews incluidos, que sigue gestionada por Googlebot.

Bloquear un robot de entrenamiento y permitir un robot de búsqueda son, por tanto, dos decisiones distintas. Muchos sitios lo bloquean todo por reflejo y desaparecen de respuestas en las que podrían haber sido citados.

¿Cómo gestionar los rastreadores de IA en tu sitio?

  1. 1Haz inventario de los robots que ya visitan tu sitio a partir de los registros del servidor o de tu CDN.
  2. 2Decide, robot por robot, qué aceptas: búsqueda y cita, entrenamiento o nada.
  3. 3Traduce esas decisiones en robots.txt con un bloque User-agent por robot y reglas Allow / Disallow explícitas.
  4. 4Comprueba que tu cortafuegos, tu CDN o tu protección antibots no bloquea en silencio los robots que has permitido.
  5. 5Consulta la documentación oficial de cada empresa: los nombres de los robots y sus usos cambian.
  6. 6Revisa estas reglas con regularidad, por ejemplo cada trimestre.

¿Qué errores evitar con los rastreadores de IA?

  • Copiar un robots.txt «anti-IA» encontrado en internet sin medir su efecto en tu visibilidad.
  • Creer que robots.txt es una protección técnica: es una instrucción que los robots serios respetan, no un candado.
  • Confundir Google-Extended con Googlebot y bloquear la búsqueda de Google por error.
  • Olvidar las reglas de protección de la CDN, que a veces devuelven errores 403 a los rastreadores de IA.