爬取

Robots.txt 同網站地圖審查工具

貼上一個網域就可以檢查 robots.txt 並爬取連結嘅網站地圖（root/blog/blacklist/forum 各種變體）。會顯示被封鎖嘅 URL、孤立嘅網站地圖同格式錯誤嘅項目。只喺客戶端運行——可能受 CORS 限制。

審查

網站 URL（例如 https://example.com）

我哋會檢查嘅內容

• robots.txt 嘅可用性同 Disallow/Allow 規則。
• 網站地圖發現（robots.txt + 常見路徑，例如 /sitemap.xml、/blog/sitemap.xml）。
• 每個網站地圖嘅 URL 數量同格式錯誤嘅項目。
• 標記被封鎖但係又出現喺網站地圖嘅 URL。