GEO

POLÍTICA ROBOTS · MATRIZ OFICIAL

Decide qué rastreadores IA debe gestionar tu robots.txt.

Separa descubrimiento en buscadores, entrenamiento de modelos y recuperación iniciada por usuarios. Solo se generan los grupos que la documentación actual considera controlables.

Empieza por una postura operativa

El preset completa todos los tokens controlables y puedes ajustar cada directiva.

MATRIZ DE CONTROL

Una decisión explícita por token

Solo las filas controlables entran en el borrador. Las informativas explican el uso iniciado por usuarios sin generar reglas engañosas.

OpenAIOAI-SearchBot
DescubrimientoControlable

Rastreador de OpenAI que muestra y enlaza sitios en la búsqueda de ChatGPT.

Es independiente de GPTBot; permitirlo no permite el rastreo de entrenamiento.

OAI-SearchBot: Tu directiva
OpenAIGPTBot
EntrenamientoControlable

Rastreador de OpenAI para contenido que podría entrenar modelos fundacionales.

El bloqueo señala el uso futuro y es independiente de aparecer en la búsqueda de ChatGPT.

GPTBot: Tu directiva
OpenAIChatGPT-User
Recuperación de usuarioSolo informativo

Agente de OpenAI activado por el usuario, no un rastreador web automático.

OpenAI dice que robots.txt puede no aplicar; no se genera ningún grupo.

Solo informativo
AnthropicClaudeBot
EntrenamientoControlable

Rastreador de Anthropic para contenido que podría contribuir al entrenamiento.

Anthropic afirma actualmente que sus bots respetan robots.txt.

ClaudeBot: Tu directiva
AnthropicClaude-SearchBot
DescubrimientoControlable

Rastreador de búsqueda de Anthropic para mejorar la calidad de resultados.

Debe decidirse por separado del acceso de entrenamiento de ClaudeBot.

Claude-SearchBot: Tu directiva
AnthropicClaude-User
Recuperación de usuarioControlable

Agente de Anthropic activado por una solicitud del usuario.

Anthropic documenta control robots.txt; bloquearlo puede reducir la recuperación solicitada.

Claude-User: Tu directiva
GoogleGoogle-ExtendedToken de control, no User-Agent HTTP
Entrenamiento + groundingControlable

Token de Google para controlar entrenamiento Gemini y grounding con Google Search.

No tiene User-Agent HTTP propio ni afecta inclusión o ranking en Google Search.

Google-Extended: Tu directiva
PerplexityPerplexityBot
DescubrimientoControlable

Rastreador de búsqueda de Perplexity que muestra y enlaza sitios.

Perplexity indica que no se usa para entrenar modelos fundacionales.

PerplexityBot: Tu directiva
PerplexityPerplexity-User
Recuperación de usuarioSolo informativo

Agente de Perplexity activado por usuarios, no un bot de rastreo o entrenamiento.

Perplexity dice que generalmente ignora robots.txt; no se genera ningún grupo.

Solo informativo

Datos revisados · 2026-08-12

Notas oficiales de control

Abre la documentación vigente antes de desplegar. Los productos y comportamientos pueden cambiar tras esta revisión.

OpenAI

Controles separados de OAI-SearchBot, GPTBot y el comportamiento de ChatGPT-User.

Abrir fuente oficial
Anthropic

Guía robots para ClaudeBot, Claude-SearchBot y Claude-User.

Abrir fuente oficial
Google

Documentación de Google-Extended como token de control.

Abrir fuente oficial
Perplexity

Funciones y comportamiento robots de PerplexityBot y Perplexity-User.

Abrir fuente oficial

Límite de despliegue

El texto generado es deliberadamente limitado. Úsalo para revisión, no como sustituto completo.

  1. 01Fusiónalo con tu robots.txt actual; reemplazarlo puede borrar directivas de búsqueda existentes.
  2. 02Vuelve a comprobar las fuentes antes de publicar. Nombres, finalidades y comportamiento pueden cambiar.
  3. 03Un WAF, CDN, alojamiento o bloqueo IP aún puede rechazar un rastreador permitido por robots.txt.
  4. 04robots.txt no garantiza acceso, indexación, visibilidad, menciones ni citas. Los agentes activados por usuarios difieren.

Antes de publicar

¿Allow garantiza acceso o citas de una IA?

No. robots.txt expresa una preferencia de rastreo. La red, los sistemas del proveedor, la relevancia y el producto son factores independientes.

¿Por qué no se generan ChatGPT-User y Perplexity-User?

Su documentación describe solicitudes de usuario donde robots.txt puede no aplicar o suele ignorarse. Generar reglas exageraría el control.

¿Puedo reemplazar mi robots.txt actual con este resultado?

No. Integra solo los grupos revisados, conserva reglas de búsqueda y recursos, y prueba la respuesta publicada.