O que é um arquivo robots.txt?

robots.txt é um arquivo de texto simples colocado na raiz de um domínio que informa aos rastreadores web bem-comportados quais partes do site eles podem ou não rastrear, usando diretivas User-agent, Allow e Disallow.

Onde coloco o arquivo robots.txt gerado?

Ele deve ser colocado na raiz do seu domínio — acessível em https://seudominio.com/robots.txt — não em um subdiretório. A maioria das plataformas CMS e geradores de sites estáticos têm um local específico para este arquivo.

O que significa 'User-agent: *'?

O asterisco é um curinga que significa 'todos os rastreadores' — quaisquer regras sob um grupo 'User-agent: *' se aplicam a todo bot que não tenha seu próprio grupo mais específico em outra parte do arquivo.

Posso bloquear apenas um mecanismo de busca e permitir outros?

Sim. Adicione um grupo de User-agent separado com o nome desse bot específico e suas próprias regras Disallow. As regras se aplicam apenas aos rastreadores que correspondem exatamente ao User-agent daquele grupo — elas não se propagam para outros bots.

O robots.txt garante que uma página não será indexada?

Não. Bloquear um caminho no robots.txt apenas pede aos rastreadores que não o busquem — uma URL ainda pode aparecer nos resultados de busca se estiver vinculada de outro lugar. Para evitar a indexação de forma confiável, use uma tag meta 'noindex' ou um cabeçalho HTTP na própria página.

Devo adicionar meu sitemap ao robots.txt?

Sim, é uma prática recomendada amplamente seguida. Adicionar uma linha 'Sitemap:' apontando para o seu sitemap.xml dá aos rastreadores uma forma fácil e padrão de descobri-lo.

O que o Crawl-delay faz, e todos os mecanismos de busca o respeitam?

Crawl-delay pede a um rastreador para esperar um número determinado de segundos entre solicitações para reduzir a carga do servidor. O Google não suporta Crawl-delay, mas o Bing e alguns outros rastreadores o respeitam.

Um arquivo robots.txt errado pode prejudicar meu SEO?

Sim — um 'Disallow: /' amplo sob 'User-agent: *' bloqueia todo o seu site de ser rastreado, um erro acidental comum. Sempre verifique novamente o arquivo gerado antes de implantá-lo em produção.

Esta ferramenta armazena ou envia meu conteúdo robots.txt para algum lugar?

Não. Todo o arquivo é construído no seu navegador a partir dos campos do formulário que você insere. Nada é enviado ou transmitido — copiar ou baixar o resultado acontece inteiramente no navegador.

Gerador de Robots.txt — Crie um Arquivo robots.txt Personalizado

Nosso Gerador de Robots.txt constrói um arquivo robots.txt sintaticamente válido a partir de um formulário simples: adicione um ou mais grupos de User-agent, liste caminhos Allow e Disallow para cada um, opcionalmente defina um Crawl-delay e adicione uma diretiva de Sitemap. Predefinições de um clique cobrem padrões comuns como bloquear /admin/ ou /api/. O resultado é atualizado ao vivo e pode ser copiado ou baixado como robots.txt, pronto para ser colocado no diretório raiz do seu site.

User-agent

Caminhos a bloquear (um por linha)

Caminhos a permitir (um por linha)

URL do Sitemap

Crawl-delay (segundos)

robots.txt gerado

User-agent: *

Como usar Gerador de Robots.txt — Crie um Arquivo Robots.txt Válido

1
Insira um User-agent (use '*' para todos os rastreadores, ou o nome de um bot específico como 'Googlebot').
2
Liste os caminhos a bloquear e/ou permitir, um por linha, ou clique em um botão de predefinição para regras comuns.
3
Opcionalmente adicione mais grupos de User-agent, uma URL de Sitemap e um valor de Crawl-delay.
4
Copie o texto robots.txt gerado ou baixe-o diretamente como um arquivo robots.txt.

Por que usar Gerador de Robots.txt — Crie um Arquivo Robots.txt Válido?

Um arquivo robots.txt é a primeira coisa que rastreadores bem-comportados verificam antes de indexar seu site, e um único erro de sintaxe pode silenciosamente prejudicar seu SEO ao ocultar páginas que você queria indexadas ou expor páginas que você queria ocultas. Escrever robots.txt manualmente é enganosamente fácil de errar sutilmente, especialmente quando vários grupos de User-agent estão envolvidos. Este gerador aplica a estrutura correta automaticamente: agrupa as diretivas sob o User-agent correto, ordena as linhas Disallow/Allow corretamente, e produz um arquivo que corresponde ao formato esperado pelos mecanismos de busca, eliminando suposições.

Perguntas frequentes

Ferramentas relacionadas

Testador de Robots.txt — Verifique se uma URL Está Permitida ou Bloqueada

Teste se um caminho específico é permitido ou bloqueado por um arquivo robots.txt, para qualquer user-agent. Cole o robots.txt ou busque-o ao vivo de qualquer site. Grátis, instantâneo.

Verificador de Sitemap — Valide Sitemaps XML e Encontre Links Quebrados

Verifique o sitemap XML de qualquer site em busca de erros, links quebrados e metadados ausentes. Validador de sitemap online gratuito com verificação de status ao vivo. Sem cadastro.

Extrator de Inteligência de Site — Ferramenta de Snapshot SEO e Metadados

Extraia título, meta descrição, tags Open Graph, cabeçalhos, contagem de palavras e links internos/externos de qualquer URL em uma única solicitação. Ferramenta SEO gratuita.

Detector de Stack Tecnológico — Identifique a Tecnologia de Qualquer Site

Detecte instantaneamente o CMS, framework JavaScript, ferramentas de análise, CDN e tecnologia do servidor de qualquer site. Verificador gratuito sem cadastro.