Verificador de Robots.txt — Prueba URLs Contra Cualquier Archivo Robots.txt
Nuestro Verificador de Robots.txt comprueba si una ruta dada está permitida o bloqueada según las reglas de un archivo robots.txt, aplicando correctamente la misma precedencia de coincidencia más específica que usan los rastreadores reales de motores de búsqueda. Pega el contenido de robots.txt directamente, o cambia al modo en vivo para obtener el robots.txt real de cualquier sitio público del lado del servidor. Introduce una ruta y un user-agent opcional, y ve exactamente qué regla coincidió y por qué.
Pega el contenido de robots.txt e introduce una ruta para probar.
Cómo usar Verificador de Robots.txt — Comprueba si una URL Está Permitida o Bloqueada
- 1
Elige el modo 'Pegar' para pegar contenido de robots.txt directamente, o el modo 'En vivo' para obtenerlo de un sitio web real.
- 2
En modo en vivo, introduce la URL del sitio y haz clic en 'Obtener' para cargar su contenido real de robots.txt.
- 3
Introduce la ruta que quieres probar y opcionalmente un user-agent específico como 'Googlebot'.
- 4
Revisa el resultado Permitido/Bloqueado y ve exactamente qué regla del archivo coincidió, según las mismas reglas de especificidad que usan los rastreadores reales.
¿Por qué usar Verificador de Robots.txt — Comprueba si una URL Está Permitida o Bloqueada?
Las reglas de robots.txt pueden entrar en conflicto silenciosamente — un 'Disallow: /' amplio combinado con un 'Allow: /public/' más específico más abajo en el archivo es válido y común, pero es fácil juzgar mal cuál regla realmente gana para una URL dada sin conocer la lógica de precedencia de la especificación. Leer manualmente un archivo robots.txt y adivinar el resultado es propenso a errores, especialmente entre múltiples grupos de User-agent y patrones comodín. Esta herramienta aplica el algoritmo de precedencia real que usan los rastreadores y muestra exactamente qué regla coincidió, eliminando las conjeturas.
Preguntas frecuentes
Herramientas relacionadas
Generador de Robots.txt — Crea un Archivo Robots.txt Válido
Genera un archivo robots.txt válido con reglas Allow/Disallow, directiva de sitemap y crawl-delay. Generador de robots.txt gratuito basado en navegador — descarga o copia al instante.
Comprobador de Sitemap — Valida Sitemaps XML y Detecta Enlaces Rotos
Comprueba el sitemap XML de cualquier sitio web en busca de errores, enlaces rotos y metadatos ausentes. Validador de sitemap online gratuito con comprobación de estado en vivo. Sin registro.
Extractor de Inteligencia Web — Herramienta de Instantánea SEO y Metadatos
Extrae título, meta descripción, etiquetas Open Graph, encabezados, conteo de palabras y enlaces internos/externos de cualquier URL en una sola solicitud. Herramienta SEO gratuita.
Convertir Sitio Web a PNG, PDF, WebP y JPG — Herramienta de Captura Gratuita
Convierte cualquier URL de sitio web a PNG, PDF, WebP o JPG gratis. Captura páginas web en vista de escritorio, tableta o móvil. Instantáneo — sin registro requerido.