तकनीकी SEO
Robots.txt नियम परीक्षक
एक robots.txt फ़ाइल पेस्ट करें, एक crawler चुनें, और कोई भी path टेस्ट करें। ठीक-ठीक देखें कि कौन-सा नियम जीतता है, और उन गलतियों को पकड़ें जो चुपचाप सर्च इंजन को ब्लॉक कर देती हैं या crawl budget बर्बाद करती हैं।
यह पूरी तरह आपके ब्राउज़र में चलता है। गुमनाम उपयोग गिनती के अलावा आपके द्वारा पेस्ट किया गया कुछ भी कहीं नहीं भेजा जाता।
अपनी robots.txt फ़ाइल की सटीक सामग्री पेस्ट करें।
केवल path और वैकल्पिक query string, डोमेन नहीं, जैसे /blog/post-1?ref=x।
यह कैसे काम करता है, और आम गलतियों को कैसे ठीक करें
वास्तविक crawler अपने नाम से मेल खाने वाला एक ही सबसे विशिष्ट User-agent समूह चुनते हैं (सटीक मिलान या सबसे लंबा prefix मिलान "*" पर जीतता है), फिर, केवल उसी समूह के भीतर, सबसे लंबे मिलान वाले path पैटर्न वाले Allow या Disallow नियम को लागू करते हैं, जिसमें बराबरी होने पर Allow जीतता है। यह टूल वही सटीक एल्गोरिद्म चलाता है — यह केवल पहला मिलने वाला Disallow नहीं ढूंढता।
किसी नियम के अंदर "*" किसी भी वर्ण क्रम से मेल खाता है, और अंत में "$" नियम को path के अंत से बांध देता है। Disallow: /*.pdf$ /file.pdf को ब्लॉक करता है लेकिन /file.pdf?ref=1 को नहीं — यह PDF के अनजाने में crawl होने योग्य बने रहने का एक आम कारण है।
खाली "Disallow:" पंक्ति का मतलब है कोई प्रतिबंध नहीं — यह कुछ भी ब्लॉक नहीं करती। और एक बार जब कोई crawler किसी विशिष्ट समूह (जैसे "Googlebot") से मेल खाता है, तो उस crawler के लिए "User-agent: *" के नीचे के नियम पूरी तरह नज़रअंदाज़ कर दिए जाते हैं; दोनों कभी मिलाए नहीं जाते।
यह टूल जिन आम गलतियों को चिह्नित करता है: स्टेजिंग साइट से बचा हुआ Disallow: / (सब कुछ ब्लॉक करता है), किसी भी User-agent पंक्ति से पहले रखे गए नियम (चुपचाप नज़रअंदाज़), Crawl-delay (Google और Bing द्वारा नज़रअंदाज़), और Sitemap URL जो absolute नहीं हैं।