क्रॉल

Robots.txt और Sitemap ऑडिटर

robots.txt की जाँच करने और लिंक किए गए sitemap (root/blog/blacklist/forum वेरिएंट) को क्रॉल करने के लिए एक डोमेन पेस्ट करें। यह ब्लॉक किए गए URL, अनाथ sitemap और गलत प्रविष्टियाँ दिखाता है। केवल क्लाइंट-साइड—CORS द्वारा सीमित हो सकता है।

ऑडिट

साइट URL (उदा., https://example.com)

हम क्या जाँचते हैं

• robots.txt की उपलब्धता और Disallow/Allow नियम।
• Sitemap खोज (robots.txt + सामान्य पथ जैसे /sitemap.xml, /blog/sitemap.xml)।
• प्रति sitemap URL की संख्या और गलत प्रविष्टियाँ।
• उन ब्लॉक किए गए URL को चिह्नित करता है जो sitemap में भी दिखाई देते हैं।