Cada crawler de IA faz um trabalho diferente: GPTBot, ClaudeBot, PerplexityBot, Bytespider. Um allowlist em robots.txt + Cloudflare que não corta citações.
Conteúdo7 seções
Deixar um rastreador de IA entrar é uma troca, e vale enunciá-la nos termos que um dono usaria. Você entrega uma cópia de conteúdo que já publica de graça. Recebe de volta a chance de ser a fonte que um assistente cita quando o seu cliente pergunta a ele o que comprar.
Se a troca é boa depende do rastreador, porque eles fazem quatro trabalhos diferentes e só alguns devolvem algo. Abaixo: o que cada bot realmente faz, um robots.txt funcional, as regras de Cloudflare que o aplicam e como verificar que continua valendo.
As quatro tarefas de um crawler
Antes de liberar ou bloquear, entenda qual tarefa o bot está fazendo. Um único fornecedor frequentemente opera vários crawlers para finalidades diferentes: a OpenAI documenta quatro (OpenAI) e a Anthropic três (Anthropic).
| Tarefa | O que faz | Bloqueio significa |
|---|---|---|
| Treino | Busca páginas para treinar modelos futuros | Nenhum LLM seguinte "conhece" seu domínio |
| Índice de busca | Constrói um índice que o LLM consulta na inferência | Não cita em respostas, ponto |
| Navegação na sessão | Busca um URL que o usuário acabou de pedir | O modelo não consegue resumir sua página ao vivo |
| Embed / RAG | Joga seu conteúdo num armazenamento de embeddings de terceiros | Menos controle de como repackageiam seu material |
O erro mais comum: bloquear as quatro "para proteger o conteúdo" — apagando os papéis de índice e navegação na sessão. Essas duas são justamente as tarefas que colocam sua página numa resposta.
Tabela de identidade dos bots (maio de 2026)
| User-agent | Fornecedor | Tarefa | Política 2026 |
|---|---|---|---|
GPTBot | OpenAI | Treino | Só treino (Allow se quiser entrar no treino) |
OAI-SearchBot | OpenAI | Índice de busca | Allow |
ChatGPT-User | OpenAI | Navegação na sessão | Allow (a OpenAI diz que o robots.txt pode não se aplicar) |
ClaudeBot | Anthropic | Treino | Só treino |
Claude-SearchBot | Anthropic | Índice de busca | Allow |
Claude-User | Anthropic | Navegação na sessão | Allow |
anthropic-ai | Anthropic (legado) | Treino | Block (fora da lista atual da Anthropic, ainda aparece) |
Google-Extended | Treino e contexto do Gemini | Só treino (sem efeito na Busca do Google) | |
Googlebot | Busca do Google | Allow (o original) | |
PerplexityBot | Perplexity | Índice + citação | Allow (espinha dorsal das citações) |
Perplexity-User | Perplexity | Navegação na sessão | Allow |
Applebot-Extended | Apple | Treino do Apple Intelligence | Só treino |
Bingbot | Microsoft | Busca + índice do Copilot | Allow |
CCBot | Common Crawl | Arquivo aberto da web, muito usado para treino | Só treino |
Bytespider | ByteDance | Treino | Block (sem retorno em citação, carga pesada) |
Meta-ExternalAgent | Meta | Treino | Block |
FacebookBot | Meta | Embed para IA | Block |
Amazonbot | Amazon | Treino da Alexa AI | Block |
cohere-ai | Cohere | Treino | Block (sem produto de consumo) |
Diffbot | Diffbot | Scraping comercial | Block salvo se pagar |
Omgilibot | Webz.io | Scraping comercial | Block |
MistralAI-User | Mistral | Navegação na sessão | Allow |
Kagibot | Kagi | Índice de busca premium | Allow (pequeno, mas valioso) |
Webzio-Extended | Webz.io | Scraping comercial | Block |
YouBot | You.com | Índice de busca | Allow |
Um robots.txt que funciona
Para um site B2B que quer máxima elegibilidade a citações e zero contribuição para treino:
# Citação — tudo liberado
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /
User-agent: MistralAI-User
Allow: /
User-agent: Kagibot
Allow: /
User-agent: YouBot
Allow: /
# Apenas treino — bloquear
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Applebot-Extended
Disallow: /
User-agent: CCBot
Disallow: /
# Hostis / sem retorno em citação
User-agent: anthropic-ai
Disallow: /
User-agent: Bytespider
Disallow: /
User-agent: Meta-ExternalAgent
Disallow: /
User-agent: FacebookBot
Disallow: /
User-agent: Amazonbot
Disallow: /
User-agent: cohere-ai
Disallow: /
User-agent: Diffbot
Disallow: /
User-agent: Omgilibot
Disallow: /
User-agent: Webzio-Extended
Disallow: /
# Todos os outros
User-agent: *
Allow: /
Sitemap: https://seudominio.com/sitemap.xml
Inverta as linhas de treino (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) para Allow se quiser entrar no treino dos modelos da próxima geração (a maioria das marcas B2B se beneficia — o modelo aprende sua terminologia). Mantenha Disallow só se publicou pesquisa proprietária que não quer ver absorvida. O Google-Extended é um token do robots.txt, não um crawler separado, e o Google diz que ele não afeta a inclusão nem o ranking na Busca (Google).
Aplicação no Cloudflare
robots.txt é respeitado pelos bots compatíveis. Bytespider, vendors de scrape-as-a-service e scrapers via proxy residencial ignoram. A camada de aplicação em 2026 é o painel AI Bots do Cloudflare (Security → Bots → AI Bots); o bloqueio de IA em um clique está disponível em todos os planos, inclusive o Free, desde julho de 2024 (Cloudflare, 2024):
- Confira o que o bloqueio geral de IA cobre. O Cloudflare descreve a configuração original como um bloqueio de bots que rastreiam para treinar IA, e os presets novos separam Search, Agent e Training (documentação do Cloudflare). Bloquear os três derruba os crawlers que citam junto com os scrapers.
- Ative regras por bot com:
- PerplexityBot, OAI-SearchBot, Claude-SearchBot: Allow.
- GPTBot, ClaudeBot, Applebot-Extended: Allow ou Managed Challenge conforme sua política de treino (o Google-Extended não tem user-agent próprio, então vive só no robots.txt).
- Bytespider, Amazonbot, Meta-ExternalAgent, FacebookBot: Block.
- Adicione uma regra customizada de WAF com
(cf.client.bot eq false) and (http.user_agent contains "ai" or http.user_agent contains "bot")e ação Managed Challenge para pegar imitadores com user-agent "AI-style" que não estão na lista verificada. - Coloque um honeypot em
/disallow-honeypot/linkado apenas dollms.txt, com rate-limit por IP em 1, ação Block 24h. Pega scrapers que ignoram robots.txt — nenhum crawler legítimo de IA acessaria esse caminho.
Verificação
Depois de subir a política, valide semanalmente:
tail -f /var/log/nginx/access.log | grep -E "PerplexityBot|OAI-SearchBot|Claude-SearchBot"— confirma que os bots de citação continuam batendo.- Cloudflare Analytics → Security → Bot traffic — gráfico Allowed/Challenged/Blocked. Os scrapers de treino que você bloqueou devem aparecer em Blocked, e os bots de citação continuar em Allowed.
- Participação em citações no Perplexity (consultas que deveriam citar você) — deve começar a subir nas semanas seguintes à liberação do PerplexityBot, se antes você não era citado. Como instrumentar isso está em tracking de citações AEO.
- Google Search Console → Desempenho — não deve se mexer, porque o Google-Extended não afeta a Busca do Google.
Se o PerplexityBot parar de bater depois da subida, a ordem das regras no Cloudflare está errada (um Block mais amplo casa antes). Mova os Allow por bot para o topo.
Por que o bloqueio padrão está errado
Três das quatro tarefas de crawlers fazem algo que te interessa: indexar para te citar, navegar a página viva quando o usuário pede, treinar modelos futuros para que conheçam sua marca. Só uma — scrapers puros como o Bytespider — não retorna nada útil.
O padrão de 2024 ("bloquear toda IA") fazia sentido quando o mecanismo de citação não existia e os crawlers só levavam embora. Em 2026 os mecanismos existem: citações do PerplexityBot já geram referral mensurável, o Google AI Overview cita com atribuição, o ChatGPT-User puxa dados ao vivo. A assimetria virou: agora bloquear é a opção cara.
Um robots.txt curto e um punhado de regras no Cloudflare são a diferença entre ser citado nas respostas que seus clientes pedem à IA e ficar invisível. A configuração é pequena; o ganho se acumula por anos.
Uma ressalva sobre o tráfego que isso compra. Uma fatia crescente do que chega depois de um rastreador ler você não é uma pessoa clicando, e sim software agindo em nome de alguém, um visitante diferente com necessidades diferentes — veja o que um site deve a um visitante automatizado. E o arquivo de identidade que esses mesmos rastreadores procuram está em a atualização sobre llms.txt.
Fontes
- Do sites that block GPTBot get cited less by ChatGPT? — 1.058 domínios, julho de 2026. De onde vêm os números de citação e de bloqueio.
- Comunicado da Cloudflare, 1 de julho de 2025 — bloqueio padrão para domínios novos.
- Cloudflare — block AI bots — os presets Search, Agent e Training.
- OpenAI — crawlers e Anthropic — crawlers — o que cada bot faz.
- Google — common crawlers — Google-Extended e a Busca do Google.
- Common Crawl — CCBot — quem opera e o que faz.
Perguntas frequentes
Bloquear o GPTBot impede o ChatGPT de citar meu site?
Sozinho, não. O GPTBot é o crawler de treino da OpenAI: proibi-lo indica que seu conteúdo não deve ser usado para treinar os modelos base. A busca do ChatGPT é alimentada pelo OAI-SearchBot, as páginas que o usuário pede são buscadas pelo ChatGPT-User, e a OpenAI diz que cada configuração é independente. Bloqueie o GPTBot para sair do treino; deixe OAI-SearchBot e ChatGPT-User permitidos para preservar elegibilidade a citações.
Devo bloquear por padrão a categoria de bots de IA do Cloudflare?
Não como regra geral. A configuração original de um clique do Cloudflare mira os crawlers que coletam dados para treino, e os presets atuais tratam Search, Agent e Training separadamente. Bloqueie Training se você se opõe ao treino e deixe Search e Agent abertos se quer ser citado, porque o efeito depende do motor e foi medido: em 1.058 domínios, sites que bloqueiam o PerplexityBot tiveram propensão mediana de citação no Perplexity igual a 0, contra 1,167 nos que liberam (cloro.dev, julho de 2026).
Qual a diferença entre Google-Extended e Googlebot?
O Googlebot rastreia para a Busca do Google. O Google-Extended não é um crawler separado, e sim um token do robots.txt: controla se o conteúdo que o Google rastreia pode ser usado para treinar futuros modelos Gemini e para dar contexto no Gemini Apps e na Vertex AI. O Google afirma que o Google-Extended não afeta a inclusão de um site na Busca nem é sinal de ranking, então proibi-lo é uma decisão sobre treino, não sobre busca.
Como bloquear bots que ignoram o robots.txt?
Três camadas: (1) regras WAF / Bot Fight Mode no Cloudflare com regex no user-agent; (2) regras em reverse-proxy (nginx, Caddy) na borda; (3) honeypot-URLs no llms.txt que nenhum bot legítimo seguiria — qualquer IP que entrar é bloqueado por 24h. Bytespider e scrapers de proxy residencial precisam das três camadas; só user-agent não pega.
Preciso de regras separadas para ClaudeBot e Claude-SearchBot?
Sim. A Anthropic documenta três bots. O ClaudeBot coleta conteúdo que pode contribuir para o treino. O Claude-User busca páginas quando uma pessoa pergunta algo ao Claude. O Claude-SearchBot rastreia para melhorar a qualidade dos resultados de busca. Permita Claude-SearchBot e Claude-User se quer que o Claude te encontre e te cite; o ClaudeBot é a sua decisão sobre treino. O token antigo anthropic-ai não está na lista atual da Anthropic, e um Disallow nele não custa nada.
