Ir para o conteúdo
UtiliLab

Gerador de robots.txt com Modelos e Testador

Comece por um modelo ou monte os grupos de regras. O testador mostra se um robô pode acessar uma URL, e qual regra decidiu.

Processado no seu navegador — nada é enviado ou armazenado.

Começar por um modelo

  1. Grupo 1

    * vale para todos os robôs. Exemplos: Googlebot, Bingbot, GPTBot.

    Regras

URL completa, com https://.

Sintaxe válida.

Testar uma URL

Bloqueado — pela regra Disallow: /admin/ (grupo 1).

robots.txt

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://www.exemplo.com.br/sitemap.xml

Como usar

  • Escolha um modelo (liberar tudo, WordPress, loja virtual, bloquear robôs de IA…) ou comece do zero.
  • Em cada grupo, informe os user-agents e as regras Allow e Disallow.
  • Adicione a URL do sitemap.
  • Teste caminhos no testador e baixe o arquivo. Ele vai na raiz do site: https://seusite.com/robots.txt.

Como os robôs leem as regras

  • Cada robô usa só o grupo com o user-agent mais específico que combina com ele; sem nenhum, usa o grupo *.
  • Entre as regras do grupo, vence a de caminho mais longo. Em empate, vence o Allow.
  • * combina com qualquer sequência e $ marca o fim do endereço: Disallow: /*.pdf$ bloqueia todos os PDFs.
  • Os caminhos diferenciam maiúsculas: /Admin e /admin são diferentes.

O que o robots.txt não faz

Ele pede para os robôs não visitarem, mas não protege nada: a página continua acessível e pode até aparecer no Google se outros sites apontarem para ela. Para tirar uma página dos resultados, use a meta robots noindex; para protegê-la, use senha.

Conteúdo e funcionamento revisados pela Equipe UtiliLab em . Consulte nossa metodologia de revisão.

Perguntas frequentes

Bloquear robôs de IA funciona?

Os robôs das grandes empresas (GPTBot, ClaudeBot, Google-Extended, CCBot…) respeitam o robots.txt. Robôs que não se identificam, não.

O que eu digito é enviado para algum lugar?

Não. Tudo é calculado no seu navegador; nenhuma URL, texto ou configuração sai do seu aparelho.

Ferramentas relacionadas

Gerador de sitemap.xml

Monte um sitemap.xml válido com URL, data de modificação, frequência e prioridade, e baixe o arquivo.

Gerador de Meta Tags

Gere title, description, viewport, charset, autor, robots e canonical com validação de tamanho.

Gerador de .htaccess

Gere o .htaccess com HTTPS, www, redirecionamentos, GZIP, cache, bloqueio de IPs e senha, tudo comentado.

Gerador de UTM

Monte links com utm_source, utm_medium e utm_campaign para medir campanhas no Google Analytics.