तकनीकी SEO
Robots.txt डिफ़ और डिप्लॉय-रिस्क चेकर
अपना लाइव robots.txt और जो वर्शन आप deploy करने वाले हैं, उसे पेस्ट करें। यह टूल आपके चुने हुए क्रॉलर और पथ के लिए दोनों फ़ाइलों को असली longest-match/wildcard/$ नियम इंजन से चलाता है, फिर बिल्कुल दिखाता है कि क्या बदला — और क्या इसे शिप करना सुरक्षित है।
यह पूरी तरह आपके ब्राउज़र में चलता है। यहाँ पेस्ट की गई कोई भी चीज़, गुमनाम उपयोग गिनती को छोड़कर, कहीं नहीं भेजी जाती।
अगर आप केवल नई फ़ाइल का ऑडिट करना चाहते हैं, बिना पहले/बाद की तुलना के, तो इसे खाली छोड़ दें।
वह वर्शन जिसे आप deploy करने वाले हैं।
नियम इंजन प्रत्येक क्रॉलर के लिए अलग-अलग चलता है — असली क्रॉलर कभी भी किसी विशिष्ट ग्रुप को wildcard ग्रुप के साथ नहीं मिलाते।
केवल पथ और वैकल्पिक क्वेरी स्ट्रिंग डालें, डोमेन नहीं। होमपेज, मुख्य टेम्पलेट और जिन चीज़ों की आपको चिंता है, उन्हें शामिल करें।
यह कैसे काम करता है, और सिर्फ़ टेक्स्ट डिफ़ काफ़ी क्यों नहीं है
एक सामान्य लाइन-दर-लाइन टेक्स्ट डिफ़ आपको यह नहीं बता सकता कि क्रॉलर के लिए वास्तव में क्या बदला: ग्रुप को फिर से क्रम में लगाना, एक ऐसा Allow जोड़ना जो Disallow को रद्द कर दे, या एक लंबा, अधिक विशिष्ट नियम जो छोटे नियम को ओवरराइड कर दे — ये सब व्यवहार बदल देते हैं भले ही डिफ़ में यह नाटकीय न दिखे। यह टूल असली क्रॉलर एल्गोरिद्म — सबसे विशिष्ट User-agent ग्रुप पहले जीतता है, फिर सबसे लंबा मेल खाने वाला Allow/Disallow नियम जीतता है, बराबरी पर Allow जीतता है — दोनों फ़ाइलों पर फिर से चलाता है और लाइनों की नहीं, नतीजों की तुलना करता है।
गंभीरता इस पर आधारित है कि क्या बदला: होमपेज का नया ब्लॉक होना या पूरी साइट के लिए Disallow होना गंभीर (Critical) है; एक नई ब्लॉक हुई CSS/JS फ़ाइल या संवेदनशील दिखने वाला नया खुला पथ (admin, checkout, account, .env) चेतावनी (Warning) है; और कोई भी अन्य नया ब्लॉक या अनुमति प्राप्त पथ जानकारी (Info) है ताकि आप खुद जाँच सकें।
यह आपके द्वारा दी गई पथ सूची से स्वतंत्र रूप से संरचना की भी जाँच करता है: क्या नई फ़ाइल एक पूर्ण "Disallow: /" जोड़ती है, क्या Sitemap निर्देश चुपचाप हटा दिया गया, और कौन-सा क्रॉलर-विशिष्ट ग्रुप जोड़ा या हटाया गया।
याद रखें कि Google और Bing Crawl-delay को पूरी तरह नज़रअंदाज़ करते हैं, और एक बार जब कोई क्रॉलर "Googlebot" जैसे किसी विशिष्ट ग्रुप से मेल खाता है, तो "User-agent: *" के नियम उस पर कभी लागू नहीं होते — इन्हें मिलाया नहीं जाता।