¿Por qué te afectan los rastreadores de IA?
Estos robots determinan en parte si tu contenido puede ser leído y citado por los asistentes de IA. Las empresas suelen usar varios robots según el uso. Según su documentación pública, OpenAI usa GPTBot para la recopilación relacionada con el entrenamiento, OAI-SearchBot para la búsqueda de ChatGPT y ChatGPT-User para las visitas iniciadas por un usuario. Anthropic usa ClaudeBot y Perplexity usa PerplexityBot.
Google-Extended es un caso aparte: no es un robot distinto, sino un token de robots.txt que te permite rechazar que tu contenido se use para ciertos usos de los modelos Gemini. No afecta a tu presencia en la búsqueda de Google, AI Overviews incluidos, que sigue gestionada por Googlebot.
Bloquear un robot de entrenamiento y permitir un robot de búsqueda son, por tanto, dos decisiones distintas. Muchos sitios lo bloquean todo por reflejo y desaparecen de respuestas en las que podrían haber sido citados.
¿Cómo gestionar los rastreadores de IA en tu sitio?
- 1Haz inventario de los robots que ya visitan tu sitio a partir de los registros del servidor o de tu CDN.
- 2Decide, robot por robot, qué aceptas: búsqueda y cita, entrenamiento o nada.
- 3Traduce esas decisiones en robots.txt con un bloque User-agent por robot y reglas Allow / Disallow explícitas.
- 4Comprueba que tu cortafuegos, tu CDN o tu protección antibots no bloquea en silencio los robots que has permitido.
- 5Consulta la documentación oficial de cada empresa: los nombres de los robots y sus usos cambian.
- 6Revisa estas reglas con regularidad, por ejemplo cada trimestre.
¿Qué errores evitar con los rastreadores de IA?
- Copiar un robots.txt «anti-IA» encontrado en internet sin medir su efecto en tu visibilidad.
- Creer que robots.txt es una protección técnica: es una instrucción que los robots serios respetan, no un candado.
- Confundir Google-Extended con Googlebot y bloquear la búsqueda de Google por error.
- Olvidar las reglas de protección de la CDN, que a veces devuelven errores 403 a los rastreadores de IA.