Logo de MyVIPWebTools

Verificador de Robots.txt — Prueba URLs Contra Cualquier Archivo Robots.txt

Nuestro Verificador de Robots.txt comprueba si una ruta dada está permitida o bloqueada según las reglas de un archivo robots.txt, aplicando correctamente la misma precedencia de coincidencia más específica que usan los rastreadores reales de motores de búsqueda. Pega el contenido de robots.txt directamente, o cambia al modo en vivo para obtener el robots.txt real de cualquier sitio público del lado del servidor. Introduce una ruta y un user-agent opcional, y ve exactamente qué regla coincidió y por qué.

Pega el contenido de robots.txt e introduce una ruta para probar.

Cómo usar Verificador de Robots.txt — Comprueba si una URL Está Permitida o Bloqueada

  1. 1

    Elige el modo 'Pegar' para pegar contenido de robots.txt directamente, o el modo 'En vivo' para obtenerlo de un sitio web real.

  2. 2

    En modo en vivo, introduce la URL del sitio y haz clic en 'Obtener' para cargar su contenido real de robots.txt.

  3. 3

    Introduce la ruta que quieres probar y opcionalmente un user-agent específico como 'Googlebot'.

  4. 4

    Revisa el resultado Permitido/Bloqueado y ve exactamente qué regla del archivo coincidió, según las mismas reglas de especificidad que usan los rastreadores reales.

¿Por qué usar Verificador de Robots.txt — Comprueba si una URL Está Permitida o Bloqueada?

Las reglas de robots.txt pueden entrar en conflicto silenciosamente — un 'Disallow: /' amplio combinado con un 'Allow: /public/' más específico más abajo en el archivo es válido y común, pero es fácil juzgar mal cuál regla realmente gana para una URL dada sin conocer la lógica de precedencia de la especificación. Leer manualmente un archivo robots.txt y adivinar el resultado es propenso a errores, especialmente entre múltiples grupos de User-agent y patrones comodín. Esta herramienta aplica el algoritmo de precedencia real que usan los rastreadores y muestra exactamente qué regla coincidió, eliminando las conjeturas.

Preguntas frecuentes

Herramientas relacionadas

Verificador de Robots.txt — Comprueba si una URL Está Permitida o Bloqueada | MyVIPWebTools