Estrategia de bots divididos en robots.txt
Bloquea el entrenamiento, deja pasar la recuperación
Antes de modificar robots.txt, distingue entrenamiento, indexación de búsqueda y acceso iniciado por el usuario. Esta guía explica los controles por proveedor, Google-Extended, las comprobaciones CDN y una plantilla de separación. Permitir acceso no garantiza citas ni tráfico de referencia.
v1.0 · junio de 2026 · Tenten GEO Research
CH.01
El precio de bloquearlo todo: lo que bloqueas no es un bot, es tu tráfico de retorno
Un bloqueo general puede limitar los rastreadores de búsqueda junto con los de entrenamiento. Identifica los usos de cada proveedor antes de decidir qué permitir. Sus controles y excepciones son distintos.
La mayoría bloquea a los bots de IA con el argumento de «no quiero que usen mi contenido para entrenar». El argumento en sí no está mal; lo que está mal es la ejecución: escriben User-agent: * / Disallow: / en su robots.txt, o activan con un clic «Block AI Bots» en Cloudflare, creyendo que solo frenan el entrenamiento. En realidad, estás bloqueando también al «bot de recuperación» que alimenta las respuestas citadas de ChatGPT, Perplexity y Claude, que es precisamente el que devuelve tráfico a tu sitio.
Pon las proporciones sobre la mesa y entenderás por qué cortar por lo sano es un derroche. La observación de Cloudflare de mayo de 2026 muestra que el 51.8% de las peticiones de bots de IA son de puro entrenamiento, el 35.7% de uso mixto y solo el 9.3% de pura recuperación. El tráfico de entrenamiento que de verdad quieres bloquear supera la mitad; la pura recuperación que jamás debes bloquear es menos de una décima parte. Bloquearlo todo de golpe equivale a echar a más de la mitad de los visitantes y, de paso, dejar fuera al único cliente —ese que no llega ni al 10%— que trae dinero.
Composición de las peticiones de bots de IA: entrenamiento vs mixto vs recuperación
Cloudflare (2026.5), observación de tráfico de bots de IA
Fuente: Cloudflare (2026.5). La pura recuperación es solo el 9.3%, y es justo la que devuelve usuarios a tu sitio, pero también la que más se suele matar por error al cortar por lo sano. Este gráfico es totalmente público; puedes citarlo indicando la fuente: Tenten GEO, «Bloquea el entrenamiento, deja pasar la recuperación».
¿Cuánto cuesta? 87.4%
ChatGPT impulsa el 87.4% del tráfico de recomendación de IA (Conductor). Bloquear su bot de recuperación equivale a cerrar voluntariamente el mayor grifo de tráfico de IA del momento. El ancho de banda de entrenamiento que ahorras se mide en KB; el tráfico de retorno que pierdes se mide en ingresos: hagas la cuenta como la hagas, sales perdiendo.
Entrenamiento y búsqueda tienen controles separados. OpenAI distingue GPTBot de OAI-SearchBot y Anthropic, ClaudeBot de Claude-SearchBot. Google-Extended controla el entrenamiento de Gemini y algunos usos de grounding sin afectar la inclusión o posición en Google Search. Estas diferencias no establecen una garantía universal de posicionamiento o cita.
CH.02
Rastreadores: propósitos y controles
Un proveedor puede usar agentes distintos para entrenamiento, indexación y solicitudes del usuario. Revisa el propósito y control documentados de cada nombre; pertenecer a la misma empresa no hace intercambiables sus reglas.
GPTBot recoge contenido que puede utilizarse para entrenamiento; OAI-SearchBot respalda la búsqueda de ChatGPT. ChatGPT-User realiza ciertos accesos iniciados por el usuario y no determina la inclusión en Search. Anthropic distingue ClaudeBot, Claude-SearchBot y Claude-User para entrenamiento, búsqueda y solicitudes del usuario. El acceso de búsqueda facilita el descubrimiento, sin garantizar un enlace de fuente en cada respuesta.
| Nombre del bot | Propósito | Dejar pasar / Bloquear | Motor al que pertenece / Uso |
|---|---|---|---|
| GPTBot | Entrenamiento | Bloquear | Recogida de contenido de OpenAI para un posible entrenamiento de modelos fundacionales |
| OAI-SearchBot | Recuperación | Dejar pasar | Búsqueda de ChatGPT; separada de las visitas de ChatGPT-User iniciadas por el usuario |
| ChatGPT-User | Recuperación (en tiempo real) | Dejar pasar | Acceso iniciado por el usuario; robots.txt puede no aplicarse |
| ClaudeBot | Entrenamiento | Bloquear | Entrenamiento de modelos de Anthropic (NoHacks / Rankry) |
| Claude-SearchBot | Recuperación | Dejar pasar | Indexación para la búsqueda de Claude; Claude-User atiende solicitudes del usuario |
| CCBot | Entrenamiento | Bloquear | Common Crawl, alimenta el entrenamiento de varios modelos |
| PerplexityBot | Recuperación | Dejar pasar | Resultados y enlaces de búsqueda de Perplexity; no entrenamiento de modelos fundacionales |
| Googlebot | Recuperación / Posicionamiento | Dejar pasar | Rastreo de Google Search; los enlaces de IA requieren indexación y elegibilidad para fragmentos, sin garantizar su aparición |
| Google-Extended | Control de entrenamiento / Grounding | Según necesites | Token de robots para entrenamiento de Gemini y ciertos usos de grounding de Gemini/Vertex, sin user-agent HTTP independiente; no afecta la inclusión ni posición en Google Search |
| Bingbot | Recuperación / Posicionamiento | Dejar pasar | Búsqueda de Bing y Microsoft Copilot |
Cada proveedor distingue entrenamiento, búsqueda y solicitudes del usuario. Google-Extended también controla grounding; permitir búsqueda no garantiza una cita.
Lo clave de este capítulo
Consulta el agente y propósito oficiales en vez de deducir una regla del nombre. Rechazar OAI-SearchBot excluye el contenido de respuestas de búsqueda de ChatGPT, aunque pueden permanecer enlaces de navegación. El acceso del usuario tiene reglas propias; Search o User en el nombre no demuestra un comportamiento idéntico.
CH.03
Configuración precisa para dividirlos: la sintaxis de robots.txt línea por línea
Identifica el grupo de robots.txt que corresponde al product token del rastreador. RFC 9309 combina los grupos coincidentes y utiliza * cuando no hay coincidencia. Dentro del grupo aplicable se usa la ruta coincidente más larga; si Allow y Disallow son equivalentes, se prioriza Allow.
Un grupo con nombre y Allow: / puede permitir un rastreador de búsqueda aunque el grupo general User-agent: * indique Disallow: /. Omitir el grupo con nombre no equivale a permitirlo: puede recibir la restricción wildcard. Revisa el grupo y ruta aplicables, no el orden de las líneas.
- →Política de entrenamiento: para restringir GPTBot, ClaudeBot y CCBot, crea grupos User-agent separados con Disallow: /. Decide aparte sobre Google-Extended: su Disallow también limita los usos de grounding cubiertos, no solo el entrenamiento.
- →Búsqueda: configura User-agent: OAI-SearchBot con Allow: / y revisa Claude-SearchBot y PerplexityBot por separado. ChatGPT-User responde al usuario y robots.txt puede no aplicarse; Perplexity-User suele ignorarlo. Anthropic indica que sus tres agentes respetan robots.txt.
- →Buscadores, déjalos pasar sin falta: mantén a Googlebot y Bingbot totalmente rastreables y no los confundas con los bots de entrenamiento de IA.
- →Revisa la regla general wildcard: User-agent: * con Disallow: / puede bloquear agentes sin grupo con nombre coincidente, pero no reemplaza automáticamente los grupos explícitos que coinciden. robots.txt da instrucciones de rastreo, no impone un control de acceso.
El techo de robots.txt
robots.txt da instrucciones de rastreo, sin bloquear el servidor. Anthropic afirma que sus agentes lo respetan; OpenAI advierte que puede no aplicarse a ChatGPT-User y Perplexity que Perplexity-User suele ignorarlo. Si necesitas aplicar un bloqueo, usa el alojamiento o CDN y verifica la identidad, no solo el nombre del agente.
CH.04
El control a nivel de CDN: el muro que de verdad aguanta
Empecemos por la conclusión: robots.txt es una petición, la CDN es la ley. Si lo que necesitas es «bloquear garantizado» y no «pedir con buenos modales», el control de acceso debe estar en el servidor o en la capa de CDN, devolviendo un 403 según reglas de user-agent, y no solo escrito en robots.txt.
¿Por qué? Porque robots.txt no tiene fuerza coercitiva. Un bot que falsea su user-agent o que sencillamente ignora las reglas se lleva igual el directorio que pusiste en Disallow. Cuando tu objetivo es algo con interés real de por medio, como «que no me usen para entrenar», el cartel no basta: necesitas que, antes de que la petición llegue al contenido, la CDN/WAF la corte directamente según el user-agent.
| Capa de control | Mecanismo | Para qué sirve | Limitación |
|---|---|---|---|
| robots.txt | Declaración en cartel (cumplimiento voluntario) | Dividir entrenamiento / recuperación para los bots principales que respetan las reglas | Sin fuerza coercitiva, se puede ignorar o esquivar falseando el user-agent |
| Reglas de CDN / WAF | Devolver 403 / interceptar según el user-agent | Bloquear por la fuerza a los bots de entrenamiento, lo que de verdad «aguanta» | Hay que mantener la lista correctamente y no dañar por error a los bots de recuperación |
| Bloqueo de un clic de Cloudflare | Regla gestionada Block AI Bots con un clic | Comodidad | A menudo bloquea también a los bots de recuperación; es cortar por lo sano, de alto riesgo |
Comparativa de las tres capas de control de acceso: robots.txt se encarga de declarar la división, la CDN/WAF de hacerla cumplir por la fuerza, y el bloqueo de un clic es lo más cómodo y también lo más peligroso
La combinación correcta de las dos capas
robots.txt deja clara la intención de la división (dejar pasar la recuperación, bloquear el entrenamiento) y la CDN/WAF añade la interceptación forzosa a los bots de entrenamiento que «hay que bloquear». Jamás uses en la CDN una regla gestionada del tipo «bloquear todos los bots de IA»: es el atajo para cerrar con tus propias manos el 87.4% de tráfico de retorno del capítulo uno (Conductor). Al configurar las reglas, incluye sin falta en la lista blanca de los permitidos a bots de recuperación como OAI-SearchBot, Claude-SearchBot y PerplexityBot.
CH.05
Verifica que surte efecto: confirma que el bot de recuperación todavía puede entrar
Empecemos por la conclusión: configurarlo no es lo mismo que configurarlo bien. El fallo más peligroso al dividirlos es «bloquear mal en silencio»: crees que solo frenaste el entrenamiento y en realidad bloqueaste también el de recuperación, sin que salte ningún error. Hay que verificar de forma activa, no dar por sentado.
El objetivo de la verificación es uno solo: confirmar que «el bot de entrenamiento que hay que bloquear está bloqueado y el de recuperación que hay que dejar pasar circula sin trabas». Hay que revisar ambos lados: comprobar solo que bloqueaste el entrenamiento sin comprobar que dejaste pasar la recuperación es verificar a medias. Los cinco pasos siguientes se completan en una ronda en media hora.
PASO 1
Revisa el log de acceso del servidor
Compara las respuestas 200, 403 o 429 de rastreadores con identidad verificada con la política prevista. Un Disallow en robots.txt no produce por sí mismo un 403: hace falta una regla efectiva del alojamiento o CDN. Comprueba entrenamiento y búsqueda por separado.
PASO 2
Prueba real falseando el user-agent con curl
Usa curl -A para comprobar cómo responde el alojamiento o CDN a una cadena de agente indicada. Espera 403 para entrenamiento solo si hay una regla de bloqueo. Esto prueba la regla, no la identidad ni conducta de un rastreador real; contrasta las solicitudes reales con los rangos IP y registros del proveedor.
PASO 3
Coteja el análisis de robots.txt
Con una herramienta de prueba de robots.txt, introduce uno por uno cada user-agent y confirma que OAI-SearchBot/Claude-SearchBot/PerplexityBot salen como Allowed y GPTBot/ClaudeBot/CCBot como Disallowed. Comprueba en especial que no queda ningún User-agent: * / Disallow: / residual dañando a los bots de recuperación.
PASO 4
Prueba con preguntas reales en los motores de IA
Pregunta a ChatGPT y Perplexity por tu marca y temas y registra las URL citadas como observaciones de respuesta. Una cita puede venir de un índice existente: no prueba una nueva descarga, y su ausencia tampoco prueba por sí sola un bloqueo.
PASO 5
Monitoriza el tráfico de retorno de IA
Observa las visitas desde chatgpt.com y perplexity.ai como resultados. Cambiar el acceso no garantiza que se mantengan o aumenten. Ante una variación, revisa registros, política de rastreo y otras causas antes de atribuirla a un rastreador bloqueado.
Lo clave de este capítulo
El orden de la verificación es «primero las máquinas, después las respuestas»: primero confirma con el log y curl que la capa de los bots circula sin trabas (PASOS 1-3) y luego confirma el efecto con preguntas reales y el tráfico de retorno (PASOS 4-5). Si te saltas la capa de las máquinas y miras directamente las respuestas, confundirás un «el índice aún no se ha actualizado» con un «la configuración falló» y, presa del nervio, corregirás en el lugar equivocado.
CH.06
Plantilla de configuración para dividirlos: copia, pega y a casa
Empecemos por la conclusión: no hace falta escribir desde cero. La siguiente plantilla de robots.txt ya te bloquea el entrenamiento y deja pasar la recuperación; con la explicación línea por línea, cámbiala por tu dominio y queda lista para publicar.
Cómo usarla: escribe las directivas de la tabla siguiente, en orden, en el /robots.txt de la raíz de tu sitio. Cada bot de entrenamiento es un bloque independiente (una línea User-agent, una línea Disallow); a los de recuperación dales un Allow explícito; y al final conserva el Sitemap. Recuerda combinarla con el capítulo cuatro: añade a la vez esos cuantos «que hay que bloquear» a las reglas de interceptación forzosa de tu CDN/WAF.
| User-agent | Directiva | Explicación |
|---|---|---|
| GPTBot | Disallow: / | Restringe el acceso de entrenamiento de GPTBot; OAI-SearchBot se controla aparte |
| ClaudeBot | Disallow: / | Bloquea el entrenamiento de Anthropic |
| CCBot | Disallow: / | Bloquea Common Crawl (fuente de entrenamiento de varios modelos) |
| Google-Extended | Disallow: / | Token de robots para entrenamiento de Gemini y ciertos usos de grounding de Gemini/Vertex, sin user-agent HTTP independiente; no afecta la inclusión ni posición en Google Search |
| OAI-SearchBot | Allow: / | Búsqueda de ChatGPT; separada de las visitas de ChatGPT-User iniciadas por el usuario |
| ChatGPT-User | Allow: / | Acceso iniciado por el usuario; robots.txt puede no aplicarse |
| Claude-SearchBot | Allow: / | Indexación para la búsqueda de Claude; Claude-User atiende solicitudes del usuario |
| PerplexityBot | Allow: / | Dejar pasar: indexación de respuestas de Perplexity |
| Googlebot | Allow: / | Rastreo de Google Search; los enlaces de IA requieren indexación y elegibilidad para fragmentos, sin garantizar su aparición |
| Bingbot | Allow: / | Dejar pasar: Bing y Copilot |
| (final del archivo) | Sitemap: https://tu-dominio/sitemap.xml | Para que todos los bots permitidos encuentren la lista completa de contenidos |
Política de ejemplo: cuatro grupos Disallow y seis Allow. Google-Extended también limita el grounding cubierto; Allow para ChatGPT-User expresa una intención. Revisa los alcances de cada proveedor y tu propia política antes de usarla.
Una última frase
En 2026, el precio de bloquear el user-agent equivocado es ser borrado en silencio del mayor punto de entrada de tráfico de IA del mundo (ChatGPT, el 87.4% del tráfico de recomendación de IA, Conductor), y sin que ningún error te avise. Bloquea el entrenamiento, deja pasar la recuperación. No es una pregunta de opción múltiple sobre si hacerlo o no; es la pregunta a vida o muerte de si todavía quieres que te citen.
Fuentes y metodología
La mezcla citada de solicitudes, 51.8% / 35.7% / 9.3%, se atribuye a Cloudflare (mayo de 2026), y el 87.4% del tráfico referido por IA, a Conductor. Son medidas distintas y no deben sumarse. Los propósitos y excepciones se comprobaron el 5 de octubre de 2026 en documentación oficial: https://developers.openai.com/api/docs/bots ; https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler ; https://docs.perplexity.ai/docs/resources/perplexity-crawlers ; https://developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers . Los grupos y rutas de robots.txt siguen RFC 9309: https://www.rfc-editor.org/rfc/rfc9309 . Las plantillas son políticas de ejemplo que debes comprobar con tu arquitectura, no una descripción de la política desplegada en este sitio ni garantías de posición, citas o ingresos.
© 2026 Tenten GEO · Puedes citar el contenido de este whitepaper indicando la fuente.
Hablemos de tus prioridades en búsqueda con IA
Solicitar una interpretación del benchmark de 30 minutosEnvía la solicitud. Te confirmaremos un horario por correo en un plazo de 24 horas.