Logo do MyVIPWebTools

Testador de Robots.txt — Teste URLs Contra Qualquer Arquivo Robots.txt

Nosso Testador de Robots.txt verifica se um determinado caminho é permitido ou bloqueado de acordo com as regras de um arquivo robots.txt, aplicando corretamente a mesma precedência de correspondência mais específica que os rastreadores reais de mecanismos de busca usam. Cole o conteúdo do robots.txt diretamente, ou mude para o modo Ao Vivo para buscar o robots.txt real de qualquer site público no servidor. Insira um caminho e um user-agent opcional, e veja exatamente qual regra correspondeu e por quê.

Cole o conteúdo do robots.txt e insira um caminho para testar.

Como usar Testador de Robots.txt — Verifique se uma URL Está Permitida ou Bloqueada

  1. 1

    Escolha o modo 'Colar' para colar o conteúdo do robots.txt diretamente, ou o modo 'Ao Vivo' para buscá-lo de um site real.

  2. 2

    No modo Ao Vivo, insira a URL do site e clique em 'Buscar' para carregar o conteúdo real do robots.txt.

  3. 3

    Insira o caminho que deseja testar e, opcionalmente, um user-agent específico como 'Googlebot'.

  4. 4

    Revise o resultado Permitido/Bloqueado e veja exatamente qual regra do arquivo correspondeu, com base nas mesmas regras de especificidade que os rastreadores reais usam.

Por que usar Testador de Robots.txt — Verifique se uma URL Está Permitida ou Bloqueada?

Regras de robots.txt podem entrar em conflito silenciosamente — um 'Disallow: /' amplo combinado com um 'Allow: /public/' mais específico mais abaixo no arquivo é válido e comum, mas é fácil julgar mal qual regra realmente vence para uma determinada URL sem conhecer a lógica de precedência da especificação. Ler manualmente um arquivo robots.txt e adivinhar o resultado é propenso a erros, especialmente entre múltiplos grupos de User-agent e padrões curinga. Esta ferramenta aplica o algoritmo de precedência real que os rastreadores usam e mostra exatamente qual regra correspondeu, eliminando suposições.

Perguntas frequentes

Ferramentas relacionadas

Testador de Robots.txt — Verifique se uma URL Está Permitida ou Bloqueada | MyVIPWebTools