Perayapan

Auditor Robots.txt & Sitemap

Tempel sebuah domain untuk memeriksa robots.txt dan merayapi sitemap yang tertaut (varian root/blog/blacklist/forum). Menampilkan URL yang diblokir, sitemap yatim, dan entri yang rusak. Hanya di sisi klien—mungkin terbatas oleh CORS.

Audit

URL Situs (mis., https://example.com)

Yang kami periksa

• Ketersediaan robots.txt dan aturan Disallow/Allow.
• Penemuan sitemap (robots.txt + jalur umum seperti /sitemap.xml, /blog/sitemap.xml).
• Jumlah URL per sitemap dan entri yang rusak.
• Menandai URL yang diblokir tetapi juga muncul di sitemap.