Robots.txt 测试工具 — 针对任意 Robots.txt 文件测试URL
我们的 Robots.txt 测试工具会检查给定路径是否根据 robots.txt 文件的规则被允许或屏蔽，正确应用真实搜索引擎爬虫所使用的“最长匹配优先”优先级规则。您可以直接粘贴 robots.txt 内容，或切换到实时模式，从服务器端获取任何公开网站的实际 robots.txt。输入路径和可选的 user-agent，即可准确查看哪条规则匹配以及原因。
粘贴 robots.txt 内容并输入要测试的路径。
如何使用 Robots.txt 测试工具 — 检查URL是否被允许或屏蔽
- 1
选择“粘贴”模式直接粘贴 robots.txt 内容，或选择“实时”模式从真实网站获取。
- 2
在实时模式下，输入网站的URL并点击“获取”以加载其实际的 robots.txt 内容。
- 3
输入您想测试的路径，并可选择输入特定的 user-agent，如 'Googlebot'。
- 4
查看允许/屏蔽的结果，并根据真实爬虫使用的相同特异性规则，准确查看文件中匹配的规则。
为什么使用 Robots.txt 测试工具 — 检查URL是否被允许或屏蔽？
robots.txt 规则可能悄悄地相互冲突——文件下方一个更具体的 'Allow: /public/' 与一个宽泛的 'Disallow: /' 组合使用是有效且常见的，但如果不了解规范的优先级逻辑，很容易误判对于给定URL哪条规则实际生效。手动阅读 robots.txt 文件并猜测结果很容易出错，尤其是在涉及多个 User-agent 组和通配符模式时。此工具应用爬虫实际使用的优先级算法，并准确显示哪条规则匹配，从而消除猜测。
常见问题
相关工具
Robots.txt 生成器 — 创建有效的 Robots.txt 文件
生成带有 Allow/Disallow 规则、站点地图指令和爬取延迟的有效 robots.txt 文件。免费的基于浏览器的 robots.txt 构建工具——即时下载或复制。
站点地图检测工具 — 验证XML站点地图并查找失效链接
检测任意网站的XML站点地图，查找错误、失效链接和缺失的元数据。免费在线站点地图验证工具，支持实时URL状态检查。无需注册。
网站情报提取工具 — SEO与元数据快照工具
从任意URL中一次性提取标题、meta描述、Open Graph标签、标题层级、字数以及内部/外部链接数量。免费的SEO快照工具。
网站转PNG、PDF、WebP和JPG — 免费截图工具
免费将任意网站URL转为PNG、PDF、WebP或JPG。以桌面、平板或手机视图截图网页。即时完成 — 无需注册。