O robots.txt é um arquivo de texto na raiz do site que diz aos robôs dos buscadores e das empresas de IA o que eles podem rastrear. Com o gerador abaixo, você monta o arquivo para WordPress, WooCommerce ou site em HTML, decide o que fazer com os robôs de IA e testa qualquer endereço antes de publicar.
Um aviso antes, porque é o erro mais comum: o robots.txt controla o rastreamento, não o que aparece no Google. Para tirar uma página da busca, o caminho é outro, explicado mais abaixo.
Gere e teste o seu robots.txt
Escolha a plataforma, informe o endereço do site para a linha do sitemap e decida o que fazer com os robôs de IA. Na parte de baixo, teste um endereço ou cole o robots.txt atual do seu site para conferir se ele tem algum erro.
O que é o robots.txt
O robots.txt fica sempre no mesmo lugar: na raiz do site, em seusite.com.br/robots.txt. Antes de rastrear as páginas, os robôs dos buscadores leem esse arquivo para saber o que podem visitar. O Google o usa principalmente para controlar o tráfego de robôs, para não sobrecarregar o servidor e para não gastar rastreamento com páginas sem importância.
Cada endereço tem o seu arquivo. Um subdomínio, como loja.seusite.com.br, precisa de um robots.txt próprio, e o mesmo vale para versões com outro protocolo ou porta.
Os robôs dos grandes buscadores e das grandes empresas de IA seguem o arquivo, mas ele é só um pedido: robôs mal-intencionados simplesmente ignoram. Por isso, o robots.txt não serve para proteger nada.
Ele também não deve ser confundido com dois arquivos parecidos. O sitemap.xml lista as páginas do site, e o llms.txt indica aos modelos de IA o que mais importa. A comparação entre robots.txt, sitemap.xml e llms.txt mostra a função de cada um.
Como funcionam as regras do arquivo
O arquivo é formado por grupos. Cada grupo começa com uma ou mais linhas User-agent, que dizem a quais robôs ele vale, seguidas das regras.
| Linha | O que faz | Exemplo |
|---|---|---|
| User-agent | Define a qual robô as regras valem. O asterisco vale para todos | User-agent: Googlebot |
| Disallow | Bloqueia um caminho | Disallow: /wp-admin/ |
| Allow | Libera um caminho dentro de outro bloqueado | Allow: /wp-admin/admin-ajax.php |
| Sitemap | Informa o endereço completo do sitemap | Sitemap: https://www.seusite.com.br/sitemap.xml |
Nos caminhos, o asterisco vale por qualquer sequência de caracteres, e o cifrão marca o fim do endereço. Disallow: /*.pdf$ bloqueia todos os PDFs. Os caminhos diferenciam maiúsculas de minúsculas: /Fotos/ e /fotos/ são pastas diferentes para o robots.txt.
Quando as regras se cruzam, o Google segue duas regras de prioridade, descritas na documentação do Google sobre o robots.txt:
- Cada robô segue um grupo só: o que tem o nome dele ou, se não houver, o do asterisco. Um robô com grupo próprio ignora as regras do grupo geral.
- Dentro do grupo, vale a regra mais específica, ou seja, a de caminho mais longo. Se
AlloweDisallowempatam, vale a que libera.
É por isso que Allow: /wp-admin/admin-ajax.php funciona mesmo com Disallow: /wp-admin/ logo acima: a regra que libera é mais longa.
Alguns limites práticos: o arquivo precisa estar em UTF-8, o Google lê só os primeiros 500 KiB e guarda o arquivo em cache por até 24 horas. O Google ignora a linha Crawl-delay, que outros robôs, como o ClaudeBot e o CCBot, respeitam.
Modelos prontos de robots.txt
WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Sitemap: https://www.seusite.com.br/wp-sitemap.xmlAs três primeiras linhas são as que o próprio WordPress usa no robots.txt virtual que ele gera quando não existe um arquivo de verdade. As duas seguintes bloqueiam as páginas de busca interna, que não têm conteúdo próprio. O sitemap muda conforme o plugin: o Yoast e o Rank Math usam sitemap_index.xml, e o gerador já monta o endereço certo.
Não bloqueie as pastas /wp-content/ e /wp-includes/. Elas guardam o CSS e o JavaScript do site, e o Google precisa deles para entender as páginas.
WooCommerce
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /*add-to-cart=
Sitemap: https://www.seusite.com.br/wp-sitemap.xmlA linha a mais bloqueia os links de adicionar ao carrinho, que se multiplicam a cada produto. Não é preciso bloquear as páginas de carrinho, finalizar compra e minha conta: o WooCommerce já as marca como noindex.
Site em HTML
User-agent: *
Allow: /
Sitemap: https://www.seusite.com.br/sitemap.xmlLibera tudo e indica o sitemap. Se houver uma pasta que não deve ser rastreada, acrescente uma linha Disallow para ela.
Como bloquear os robôs de IA no robots.txt
As empresas de IA usam robôs diferentes para coisas diferentes. Uns coletam conteúdo para treinar os modelos. Outros montam o índice da busca com IA, como a do ChatGPT. E há os que visitam uma página na hora em que um usuário pede, e esses nem sempre seguem o robots.txt.
| Robô | Empresa | Para que serve |
|---|---|---|
| GPTBot | OpenAI | Treinamento dos modelos |
| OAI-SearchBot | OpenAI | Busca do ChatGPT |
| ChatGPT-User | OpenAI | Visitas pedidas por usuários. Pode ignorar o robots.txt |
| ClaudeBot | Anthropic | Treinamento dos modelos |
| Claude-SearchBot | Anthropic | Busca do Claude |
| Claude-User | Anthropic | Visitas pedidas por usuários |
| Google-Extended | Uso do conteúdo no Gemini | |
| Applebot-Extended | Apple | Treinamento dos modelos da Apple |
| PerplexityBot | Perplexity | Busca do Perplexity |
| Perplexity-User | Perplexity | Visitas pedidas por usuários. Costuma ignorar o robots.txt |
| Meta-ExternalAgent | Meta | Treinamento de IA e indexação |
| Meta-WebIndexer | Meta | Busca da Meta AI |
| CCBot | Common Crawl | Arquivo público da web, reaproveitado por terceiros |
O Google-Extended e o Applebot-Extended não são robôs que visitam o site. São nomes usados só no robots.txt para controlar o uso do conteúdo pela IA, e bloqueá-los não tira o site da busca do Google nem da busca da Apple, segundo a lista de rastreadores do Google e a página do Applebot.
Para bloquear só o treinamento, junte os robôs em um grupo:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
Disallow: /A decisão é sua. Bloquear o treinamento não afeta a busca tradicional. Já bloquear os robôs de busca, como o OAI-SearchBot e o PerplexityBot, tira o site das respostas desses assistentes, que hoje também mandam visitantes para os sites que citam.
O que o robots.txt não faz
- Não tira páginas do Google. Uma página bloqueada ainda pode aparecer na busca, sem descrição, se outros sites apontarem para ela. Para tirar uma página do Google, use a meta tag robots com noindex e deixe a página liberada no robots.txt, porque o Google precisa visitá-la para ler o noindex.
- Não protege conteúdo. O arquivo é público, e qualquer pessoa pode ler o que você bloqueou. Para uma área restrita, proteja a pasta com senha.
- Não melhora a posição no Google. Um robots.txt bem feito evita problemas de rastreamento, mas não faz o site subir.
Como editar o robots.txt no WordPress e no cPanel
O WordPress cria um robots.txt virtual quando não existe um arquivo de verdade na raiz do site. Para trocar por um arquivo seu, há três caminhos:
- Yoast SEO: em SEO › Ferramentas › Editor de arquivos.
- Rank Math: em Rank Math › Configurações gerais › Editar robots.txt.
- Gerenciador de Arquivos do cPanel: crie o arquivo robots.txt na pasta public_html e cole o conteúdo. Um arquivo de verdade sempre substitui o virtual do WordPress.
Depois de salvar, abra seusite.com.br/robots.txt no navegador para confirmar que o arquivo novo está no ar.
Como testar o robots.txt
O testador do gerador mostra se um robô pode acessar um endereço e qual regra decidiu, seguindo a mesma prioridade do Google. Para testar o arquivo que já está no ar, abra o robots.txt do seu site, copie o conteúdo e cole no testador.
No Google Search Console, o relatório robots.txt, em Configurações, mostra as versões que o Google baixou, os erros que encontrou e permite pedir uma nova leitura do arquivo. Ele substituiu o antigo testador de robots.txt, aposentado em 2023. Para uma página específica, a Inspeção de URL diz se ela está bloqueada.
Erros comuns no robots.txt
- Esquecer o
Disallow: /depois de lançar o site. É comum bloquear tudo durante a construção e esquecer de liberar depois. - Bloquear CSS e JavaScript. Sem eles, o Google não vê a página como o visitante vê.
- Usar o robots.txt para tirar páginas do Google. Além de não funcionar, impede o Google de ler o noindex.
- Escrever o caminho sem a barra inicial.
Disallow: privadonão vale nada; o certo éDisallow: /privado. - Colocar o sitemap com endereço relativo. A linha Sitemap precisa do endereço completo, com https.
- Usar noindex ou Crawl-delay para o Google. O Google não aceita nenhuma das duas linhas.
Servidores LiteSpeed, certificado SSL grátis e o robots.txt e os outros arquivos do site sempre à mão, no Gerenciador de Arquivos do cPanel.
Ver planos de hospedagemPerguntas frequentes
O que é robots.txt?
É um arquivo de texto na raiz do site que diz aos robôs dos buscadores e das empresas de IA o que eles podem rastrear. Ele fica em seusite.com.br/robots.txt e é lido antes do rastreamento. Os grandes buscadores seguem o arquivo, mas ele é só um pedido, e não uma proteção.
Onde fica o robots.txt no WordPress?
Se não existe um arquivo na raiz do site, o WordPress mostra um robots.txt virtual. Para editar, use o editor de arquivos do Yoast SEO, a opção Editar robots.txt do Rank Math ou crie o arquivo na pasta public_html pelo Gerenciador de Arquivos do cPanel. Um arquivo de verdade sempre substitui o virtual.
Como bloquear o ChatGPT e outras IAs no robots.txt?
Crie um grupo com os robôs de IA e a regra Disallow: /. Para bloquear só o treinamento, use GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent e CCBot. Para tirar o site também das buscas com IA, inclua OAI-SearchBot, Claude-SearchBot, PerplexityBot e Meta-WebIndexer. O gerador desta página monta o grupo pronto.
Bloquear robôs de IA prejudica o site no Google?
Bloquear o treinamento não afeta a busca do Google. O Google-Extended, por exemplo, não é usado para incluir nem para ranquear sites na busca. Já bloquear os robôs de busca com IA tira o site das respostas do ChatGPT, do Claude e do Perplexity.
O robots.txt tira uma página do Google?
Não. Uma página bloqueada ainda pode aparecer na busca se outros sites apontarem para ela. Para tirar uma página do Google, use a meta tag robots com noindex e deixe a página liberada no robots.txt, para que o Google consiga ler o noindex.
Todo site precisa de robots.txt?
Não é obrigatório. Sem o arquivo, os buscadores entendem que podem rastrear tudo. Mesmo assim, vale ter um, nem que seja só para indicar o sitemap e para decidir o que fazer com os robôs de IA.
Conclusão
O robots.txt é um arquivo pequeno com uma função bem definida: dizer aos robôs o que eles podem rastrear. Ele organiza o rastreamento, aponta o sitemap e, hoje, é também onde se decide se o conteúdo do site pode treinar modelos de IA. O que ele não faz é esconder páginas do Google ou proteger conteúdo. Monte o arquivo no gerador, teste os endereços mais importantes e confira o relatório do Search Console depois de publicar.
