技术 SEO
Robots.txt 差异与部署风险检测器
粘贴您当前线上的 robots.txt 与即将部署的新版本。本工具会针对您选择的爬虫和路径，使用真实的最长匹配/通配符/$ 规则引擎分别运行两个版本，然后精确标出发生的变化——以及是否可以安全上线。
完全在您的浏览器中运行。除匿名使用次数外，您粘贴的内容不会发送到任何地方。
留空则仅审查新文件本身，不进行前后对比。
您即将部署的版本。
规则引擎按爬虫逐一运行——真实爬虫从不会把专用分组与通配符分组合并。
仅填写路径和可选查询字符串，不含域名。请包含首页、关键模板以及您担心的路径。
工作原理，以及为什么纯文本 diff 还不够
普通的逐行文本 diff 无法告诉您对爬虫而言究竟发生了什么变化：调整分组顺序、新增一条抵消 Disallow 的 Allow、或更长更具体的规则覆盖较短的规则，这些改动都会改变实际行为，但在文本 diff 中未必显眼。本工具会用真实的爬虫算法——最具体的 User-agent 分组优先，其次是匹配最长的 Allow/Disallow 规则优先，Allow 在并列时获胜——重新运行两个文件并比较结果，而不是比较文字行。
严重程度取决于变化的内容：首页被新屏蔽或出现全站 Disallow 属于严重；CSS/JS 文件被新屏蔽，或看起来敏感的路径（admin、checkout、account、.env）被新放行属于警告；其他新增的屏蔽或放行则为提示，供您自行核实。
本工具还会独立于您所列路径检查结构性变化：新文件是否引入了全面的 "Disallow: /"、Sitemap 指令是否被悄悄删除，以及哪些爬虫专属分组被新增或移除。
请记住，Google 和 Bing 会完全忽略 Crawl-delay；并且一旦某个爬虫匹配到像 "Googlebot" 这样的专属分组，"User-agent: *" 下的规则就永远不会应用于它——两者不会合并。