Robots.txt: o que é, como configurar e exemplos prontos para SEO

O robots.txt é um arquivo de texto na raiz do site (por exemplo, https://sualoja.com.br/robots.txt) que diz aos robôs de busca quais URLs eles podem ou não rastrear. Ele controla o rastreamento, não a indexação: uma página bloqueada ainda pode aparecer no Google se receber links. Uma única linha errada nesse arquivo pode tirar o site inteiro da busca orgânica.

Antes de continuar, vale conferir o estado atual do seu arquivo no nosso verificador gratuito de robots.txt e sitemap.xml: ele mostra se o arquivo responde, se o Googlebot ou o Bingbot estão bloqueados, se existe a diretiva Sitemap e quantas URLs o sitemap tem.

Como o robots.txt funciona

Antes de rastrear um site, o Googlebot, o Bingbot e a maioria dos robôs legítimos baixam o /robots.txt e seguem as regras que valem para eles. Alguns pontos práticos:

• Um arquivo por host e protocolo. https://www.sualoja.com.br/robots.txt não vale para https://blog.sualoja.com.br nem para a versão http://.
• Precisa estar na raiz. Um arquivo em /pasta/robots.txt é ignorado.
• Código de resposta importa. Um 404 é interpretado como "sem restrições". Já erros 5xx persistentes fazem o Google reduzir ou suspender o rastreamento do site, então um servidor instável no robots.txt é um problema sério.
• Tamanho máximo. O Google lê apenas os primeiros 500 KiB; o que passar disso é ignorado.
• Cache. O Google costuma manter o arquivo em cache por até 24 horas, então mudanças não têm efeito imediato.
• É um pedido, não um cadeado. Robôs mal-intencionados ignoram o robots.txt. Para conteúdo privado, use senha ou bloqueio no servidor.

Sintaxe do robots.txt: as diretivas

O arquivo é formado por grupos. Cada grupo começa com um ou mais User-agent e tem regras Disallow e Allow logo abaixo.

User-agent: *
Disallow: /carrinho/
Allow: /carrinho/ajuda

Sitemap: https://www.sualoja.com.br/sitemap.xml

User-agent

Define para qual robô o grupo vale. * significa "todos". Nomes comuns: Googlebot, Bingbot, Googlebot-Image, GPTBot. Um robô segue apenas o grupo mais específico que corresponde a ele: se existir um grupo User-agent: Googlebot, o Googlebot ignora completamente o grupo *. Esse detalhe causa muitos erros.

Disallow e Allow

Disallow bloqueia caminhos que começam com o valor informado; Allow libera exceções. Quando as duas regras batem na mesma URL, o Google aplica a mais específica (a de caminho mais longo). Em caso de empate, vale a menos restritiva, ou seja, Allow.

Os caminhos diferenciam maiúsculas de minúsculas: Disallow: /Busca não bloqueia /busca.

Curingas * e $

• * corresponde a qualquer sequência de caracteres.
• $ marca o fim da URL.

User-agent: *
# bloqueia qualquer URL com parâmetro de ordenação
Disallow: /*?ordem=
# bloqueia todos os PDFs
Disallow: /*.pdf$

Sitemap

Indica a URL absoluta do sitemap. Pode aparecer em qualquer lugar do arquivo, várias vezes, e não depende de User-agent. Google e Bing usam essa linha para descobrir o sitemap.

Diretivas que o Google ignora

• Crawl-delay: o Google ignora; o Bing respeita.
• Noindex no robots.txt: nunca foi oficial e o Google deixou de considerá-lo em setembro de 2019.
• Host: era uma diretiva do Yandex, sem efeito no Google.

Exemplos prontos de robots.txt

WordPress

O WordPress gera um robots.txt virtual quando não há arquivo físico. Uma versão enxuta e segura:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://www.seusite.com.br/sitemap_index.xml

Não bloqueie /wp-content/ nem /wp-includes/: o Google precisa de CSS e JavaScript para renderizar a página.

E-commerce com filtros e busca interna

Lojas no estilo marketplace geram milhares de combinações de filtros (cor, tamanho, preço, ordenação). Isso consome orçamento de rastreamento sem trazer páginas úteis.

User-agent: *
Disallow: /busca
Disallow: /*?*ordem=
Disallow: /*?*preco=
Disallow: /carrinho
Disallow: /checkout
Disallow: /minha-conta

Sitemap: https://www.sualoja.com.br/sitemap.xml

Ajuste os parâmetros à sua plataforma. Na VTEX, a busca e os filtros costumam usar parâmetros como ?map= e ?O=; na Shopify, o robots.txt padrão já bloqueia carrinho e checkout, e alterações só são feitas pelo template robots.txt.liquid; na Nuvemshop, confira o arquivo padrão antes de pedir mudanças ao suporte. Antes de bloquear um filtro, confirme que ele não gera páginas de categoria que você quer ranquear (por exemplo, "tênis masculino preto").

Bloquear robôs de IA

Se você não quer que seu conteúdo seja coletado para treinar modelos de IA:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Google-Extended controla o uso do conteúdo pelos modelos Gemini, mas não afeta o Googlebot nem a indexação na Busca. Pense bem antes de bloquear: robôs de busca de IA, como o OAI-SearchBot, são o que permite que seu site apareça como fonte nas respostas dessas ferramentas.

Ambiente de homologação (staging)

User-agent: *
Disallow: /

Funciona para evitar rastreamento, mas o ideal é proteger o staging com senha (HTTP auth). E o risco clássico: esse arquivo ir junto para produção no deploy.

Robots.txt, noindex ou canonical?

O erro mais comum é combinar Disallow com noindex: se o Google não pode rastrear a página, ele nunca vê o noindex, e a URL pode continuar no índice com a mensagem "Nenhuma informação disponível para esta página".

Erros de robots.txt que derrubam o tráfego

1. Disallow: / esquecido depois do lançamento. Vem do staging ou da opção "Evitar que mecanismos de busca indexem este site" do WordPress. O site some da busca aos poucos.
2. Bloquear CSS e JavaScript. Regras como Disallow: /assets/ ou Disallow: /*.js$ impedem a renderização, e o Google pode avaliar a página como quebrada ou não adaptada a celular.
3. Usar robots.txt para desindexar. Como explicado acima, bloquear impede o Google de ver o noindex.
4. Regra ampla demais. Disallow: /p bloqueia /produtos/, /promocoes/ e /pagamento/ ao mesmo tempo, porque a regra funciona por prefixo.
5. Grupo específico que anula o geral. Criar User-agent: Googlebot só com uma regra faz o Googlebot ignorar todas as regras do grupo *.
6. Servidor devolvendo 5xx no robots.txt. Firewall, CDN ou proteção anti-bot que responde erro para o Googlebot pode travar o rastreamento do site inteiro.
7. Sitemap ausente ou com URL errada. Sitemap em http:// num site https://, apontando para domínio antigo ou retornando 404.
8. Bloquear URLs que redirecionam. Se a URL antiga está bloqueada, o Google não vê o redirecionamento 301 e não transfere os sinais para a nova. Depois de uma migração, confira as cadeias com o verificador de redirecionamentos.

Como testar o seu robots.txt

1. Abra o arquivo no navegador (seusite.com.br/robots.txt) e confira se responde com código 200 e o conteúdo esperado.
2. Use o verificador de robots.txt e sitemap.xml da Nord SEO. Em poucos segundos ele mostra se o arquivo está acessível, se Googlebot e Bingbot estão bloqueados, se a diretiva Sitemap existe e quantas URLs o sitemap contém.
3. Consulte o relatório de robots.txt no Google Search Console (Configurações > robots.txt). Ele mostra qual versão o Google baixou, quando e se houve erros de busca ou de sintaxe. Para testar uma URL específica, use a Inspeção de URL.
4. No Bing Webmaster Tools, há um testador de robots.txt próprio, útil se você usa Crawl-delay.

Sempre que alterar o arquivo, teste de novo. E inclua a checagem do robots.txt no checklist de todo deploy.

Perguntas frequentes

Todo site precisa de robots.txt?

Não é obrigatório. Sem o arquivo (resposta 404), os robôs rastreiam tudo. Mesmo assim, vale ter um arquivo simples com a linha Sitemap e, se for o caso, bloqueios de busca interna e filtros.

O robots.txt remove uma página do Google?

Não. Ele só impede o rastreamento. Para remover, deixe a página rastreável e use noindex, ou retorne 404/410. Para uma remoção urgente e temporária, use a ferramenta Remoções do Search Console.

Quanto tempo leva para o Google ler as mudanças?

Normalmente o Google atualiza o arquivo em cache em até 24 horas. No relatório de robots.txt do Search Console é possível solicitar um novo rastreamento do arquivo.

Bloquear o GPTBot prejudica meu SEO no Google?

Não. O GPTBot é da OpenAI e não tem relação com o Googlebot. Bloqueá-lo não afeta sua posição no Google, mas pode reduzir a presença do seu conteúdo em ferramentas de IA.

Quer saber se o robots.txt é o único problema? Rode a auditoria gratuita de 60 segundos e veja os principais pontos técnicos do seu site.