抓取

Robots.txt 与站点地图审计工具

粘贴一个域名即可检查 robots.txt 并抓取关联的站点地图（root/blog/blacklist/forum 变体）。显示被屏蔽的 URL、孤立的站点地图以及格式错误的条目。仅在客户端运行——可能受 CORS 限制。

审计

网站 URL（例如 https://example.com）

我们检查的内容

• robots.txt 的可用性以及 Disallow/Allow 规则。
• 站点地图发现（robots.txt + 常见路径，如 /sitemap.xml、/blog/sitemap.xml）。
• 每个站点地图的 URL 数量以及格式错误的条目。
• 标记被屏蔽但仍出现在站点地图中的 URL。