GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider: cada crawler de IA hace un trabajo distinto. Allowlist práctico en robots.txt y Cloudflare.
Contenido7 secciones
Dejar entrar a un rastreador de IA es un intercambio, y conviene enunciarlo en los términos que usaría un dueño. Entregas una copia de contenido que ya publicas gratis. Recibes a cambio la posibilidad de ser la fuente que un asistente nombra cuando tu cliente le pregunta qué comprar.
Si el intercambio es bueno depende del rastreador, porque hacen cuatro trabajos distintos y solo algunos devuelven algo. Abajo: qué hace realmente cada bot, un robots.txt que funciona, las reglas de Cloudflare que lo aplican y cómo comprobar que se sostiene.
Las cuatro tareas de un crawler
Antes de permitir o bloquear, entiende qué tarea realiza el bot. Un mismo proveedor a menudo opera varios crawlers para fines distintos: OpenAI documenta cuatro (OpenAI) y Anthropic tres (Anthropic).
| Tarea | Qué hace | Bloquear significa |
|---|---|---|
| Entrenamiento | Trae páginas para entrenar modelos futuros | Ningún LLM siguiente "conoce" tu dominio |
| Índice de búsqueda | Construye un índice que el LLM consulta en inferencia | No se te cita en respuestas, punto |
| Navegación en sesión | Trae un URL que el usuario acaba de pedir | El modelo no puede resumir tu página en vivo |
| Embed / RAG | Carga el contenido a un almacén de embeddings de terceros | Menos control sobre cómo reempaquetan tu material |
El error más común: bloquear las cuatro "para proteger el contenido" — borrando al mismo tiempo el índice y la navegación en sesión. Esas dos son las tareas que meten tu página en una respuesta. Para entender por qué el índice importa tanto, lee la guía completa de AEO 2026.
Tabla de identidad de bots (mayo 2026)
| User-agent | Proveedor | Tarea | Política 2026 |
|---|---|---|---|
GPTBot | OpenAI | Entrenamiento | Solo entrenamiento (Allow si quieres entrar en el entrenamiento) |
OAI-SearchBot | OpenAI | Índice de búsqueda | Allow |
ChatGPT-User | OpenAI | Navegación en sesión | Allow (OpenAI dice que robots.txt puede no aplicarse) |
ClaudeBot | Anthropic | Entrenamiento | Solo entrenamiento |
Claude-SearchBot | Anthropic | Índice de búsqueda | Allow |
Claude-User | Anthropic | Navegación en sesión | Allow |
anthropic-ai | Anthropic (legado) | Entrenamiento | Block (no está en la lista actual de Anthropic, aún aparece) |
Google-Extended | Entrenamiento y contexto de Gemini | Solo entrenamiento (sin efecto en la Búsqueda de Google) | |
Googlebot | Búsqueda de Google | Allow (el original) | |
PerplexityBot | Perplexity | Índice + citación | Allow (columna vertebral de citaciones) |
Perplexity-User | Perplexity | Navegación en sesión | Allow |
Applebot-Extended | Apple | Entrenamiento de Apple Intelligence | Solo entrenamiento |
Bingbot | Microsoft | Búsqueda + índice de Copilot | Allow |
CCBot | Common Crawl | Archivo abierto de la web, muy usado para entrenar | Solo entrenamiento |
Bytespider | ByteDance | Entrenamiento | Block (sin retorno en citaciones, mucha carga) |
Meta-ExternalAgent | Meta | Entrenamiento | Block |
FacebookBot | Meta | Embed para IA | Block |
Amazonbot | Amazon | Entrenamiento de Alexa AI | Block |
cohere-ai | Cohere | Entrenamiento | Block (sin producto de consumo) |
Diffbot | Diffbot | Scraping comercial | Block salvo que paguen |
Omgilibot | Webz.io | Scraping comercial | Block |
MistralAI-User | Mistral | Navegación en sesión | Allow |
Kagibot | Kagi | Índice de búsqueda premium | Allow (pequeño pero valioso) |
Webzio-Extended | Webz.io | Scraping comercial | Block |
YouBot | You.com | Índice de búsqueda | Allow |
Un robots.txt que funciona
Para un sitio B2B que quiere máxima elegibilidad de citaciones y cero contribución al entrenamiento:
# Citación — todo permitido
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: MistralAI-User
Allow: /
User-agent: Kagibot
Allow: /
User-agent: YouBot
Allow: /
# Solo entrenamiento — bloquear
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Hostiles / sin retorno en citaciones
User-agent: anthropic-ai
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: Webzio-Extended
Disallow: /
# Todos los demás
User-agent: *
Allow: /
Sitemap: https://tudominio.com/sitemap.xml
Cambia las líneas de entrenamiento (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) a Allow si quieres entrar en el entrenamiento de la próxima generación de modelos (la mayoría de marcas B2B se beneficia — el modelo aprende tu terminología). Mantén Disallow solo si publicaste investigación propietaria que no quieres ver absorbida. Google-Extended es un token de robots.txt y no un crawler aparte, y Google dice que no afecta a la inclusión ni al ranking en la Búsqueda (Google).
Aplicación en Cloudflare
robots.txt lo respetan los bots compatibles. Bytespider, vendors de scrape-as-a-service y scrapers vía proxy residencial lo ignoran. La capa de aplicación en 2026 es el panel AI Bots de Cloudflare (Security → Bots → AI Bots); el bloqueo de IA en un clic está disponible en todos los planes, Free incluido, desde julio de 2024 (Cloudflare, 2024):
- Revisa qué cubre el bloqueo general de IA. Cloudflare describe el ajuste original como un bloqueo de bots que rastrean para entrenar IA, y los presets nuevos separan Search, Agent y Training (documentación de Cloudflare). Bloquear los tres se lleva por delante a los crawlers que citan junto con los scrapers.
- Activa reglas por bot con:
- PerplexityBot, OAI-SearchBot, Claude-SearchBot: Allow.
- GPTBot, ClaudeBot, Applebot-Extended: Allow o Managed Challenge según tu política de entrenamiento (Google-Extended no tiene user-agent propio, así que vive solo en robots.txt).
- Bytespider, Amazonbot, Meta-ExternalAgent, FacebookBot: Block.
- Agrega una regla WAF custom con
(cf.client.bot eq false) and (http.user_agent contains "ai" or http.user_agent contains "bot")y acción Managed Challenge para atrapar impostores con user-agent "AI-style" que no están en la lista verificada. - Coloca un honeypot en
/disallow-honeypot/referenciado solo desdellms.txt, con rate-limit por IP en 1 y acción Block 24h. Atrapa scrapers que ignoran robots.txt — por diseño ningún crawler legítimo de IA va a esa ruta.
Verificación
Tras desplegar la política, verifica semanalmente:
tail -f /var/log/nginx/access.log | grep -E "PerplexityBot|OAI-SearchBot|Claude-SearchBot"— confirma que los bots de citación siguen entrando.- Cloudflare Analytics → Security → Bot traffic — gráfica Allowed/Challenged/Blocked en el tiempo. Los scrapers de entrenamiento que bloqueaste deben aparecer en Blocked, y los bots de citación seguir en Allowed.
- Participación de citaciones en Perplexity (consultas que deberían citarte) — debería empezar a subir en las semanas siguientes a permitir PerplexityBot, si antes no te citaban.
- Google Search Console → Rendimiento — no debería moverse, porque Google-Extended no afecta a la Búsqueda de Google.
Si PerplexityBot deja de entrar tras el rollout, el orden de tus reglas en Cloudflare está mal (un Block más amplio coincide antes). Reordena para que los Allow por bot vayan primero. La pieza complementaria — qué declarar a esos crawlers cuando sí entran — es llms.txt.
Por qué el bloqueo por defecto es el error
Tres de las cuatro tareas hacen algo que te conviene: indexar tu contenido para que sea citado, navegar tu página viva cuando un usuario pregunta, entrenar modelos futuros para que conozcan tu marca. Solo una — scrapers puros como Bytespider — no aporta nada útil.
El default de 2024 ("bloquear toda IA") fue correcto cuando no existían rutas de citación y los crawlers se llevaban contenido sin retorno. En 2026 las rutas existen (las citaciones de PerplexityBot ya generan tráfico referido medible; Google AI Overview cita con atribución; ChatGPT-User trae datos en vivo a las respuestas) y la asimetría se invirtió: bloquear es la opción cara.
Un robots.txt corto y un puñado de reglas de Cloudflare son la diferencia entre ser citado en las respuestas que tus clientes preguntan a las herramientas de IA y ser invisible. El trabajo es poco; el efecto se acumula durante años. Para entender cómo encajan llms.txt, ai.txt y robots.txt entre sí, ver llms.txt vs ai.txt vs robots.txt.
Una salvedad sobre el tráfico que esto compra. Una parte creciente de lo que llega después de que un rastreador te lea no es una persona haciendo clic, sino software actuando en nombre de alguien, un visitante distinto con necesidades distintas — mira qué le debe un sitio a un visitante automatizado. Y el archivo de identidad que buscan esos mismos rastreadores está en la actualización sobre llms.txt.
Fuentes
- Do sites that block GPTBot get cited less by ChatGPT? — 1.058 dominios, julio 2026. De ahí salen las cifras de citación y de bloqueo.
- Nota de prensa de Cloudflare, 1 de julio de 2025 — bloqueo por defecto para dominios nuevos.
- Cloudflare — block AI bots — los presets Search, Agent y Training.
- OpenAI — crawlers y Anthropic — crawlers — qué hace cada bot.
- Google — common crawlers — Google-Extended y la Búsqueda de Google.
- Common Crawl — CCBot — quién lo opera y qué hace.
Preguntas frecuentes
¿Bloquear GPTBot evita que ChatGPT cite mi sitio?
Por sí solo, no. GPTBot es el crawler de entrenamiento de OpenAI: prohibirlo indica que tu contenido no debe usarse para entrenar sus modelos base. La búsqueda de ChatGPT se alimenta de OAI-SearchBot, las páginas que pide un usuario las trae ChatGPT-User, y OpenAI dice que cada ajuste es independiente. Bloquea GPTBot si quieres salir del entrenamiento; deja OAI-SearchBot y ChatGPT-User permitidos para conservar elegibilidad de citación.
¿Debo bloquear por defecto la categoría de bots de IA de Cloudflare?
No como regla general. El ajuste original de un clic de Cloudflare apunta a los crawlers que recogen datos para entrenamiento, y sus presets actuales tratan Search, Agent y Training por separado. Bloquea Training si te opones al entrenamiento y deja Search y Agent abiertos si quieres que te citen, porque el efecto depende del motor y está medido: sobre 1.058 dominios, bloquear PerplexityBot dejó la propensión mediana de citación en Perplexity en 0, frente a 1,167 en los que lo permiten (cloro.dev, julio 2026).
¿Cuál es la diferencia entre Google-Extended y Googlebot?
Googlebot rastrea para la Búsqueda de Google. Google-Extended no es un crawler aparte sino un token de robots.txt: controla si el contenido que rastrea Google puede usarse para entrenar futuros modelos Gemini y para dar contexto en Gemini Apps y Vertex AI. Google afirma que Google-Extended no afecta a la inclusión de un sitio en la Búsqueda ni es una señal de ranking, así que prohibirlo es una decisión sobre entrenamiento, no sobre búsqueda.
¿Cómo bloqueo bots que ignoran robots.txt?
Tres capas: (1) reglas WAF / Bot Fight Mode en Cloudflare con regex sobre user-agent; (2) reglas en reverse-proxy (nginx, Caddy) en el borde; (3) honeypot URLs en tu llms.txt que ningún bot legítimo pisaría — cualquier IP que entre queda bloqueada 24h. Bytespider y scrapers vía proxy residencial necesitan las tres capas; solo user-agent no alcanza.
¿Necesito reglas separadas para ClaudeBot y Claude-SearchBot?
Sí. Anthropic documenta tres bots. ClaudeBot recoge contenido que podría contribuir al entrenamiento. Claude-User trae páginas cuando una persona le pregunta algo a Claude. Claude-SearchBot rastrea para mejorar la calidad de los resultados de búsqueda. Permite Claude-SearchBot y Claude-User si quieres que Claude te encuentre y te cite; ClaudeBot es tu decisión sobre entrenamiento. El token antiguo anthropic-ai no está en la lista actual de Anthropic, y un Disallow sobre él no cuesta nada.
