AI Search / GEO
AI क्रॉलर और llms.txt चेकर
देखें कि कौन से AI क्रॉलर आपका पेज पढ़ सकते हैं, और क्यों। ज़्यादातर साइटें उन्हीं AI इंजनों को रोक देती हैं जो उन्हें उद्धृत करते हैं, जबकि उन्हें पूरी तरह खुला छोड़ देती हैं जो उनकी सामग्री पर प्रशिक्षण लेते हैं — यह टूल वही पकड़ता है।
आपके द्वारा दर्ज किए गए पेज की जाँच करता है, साथ ही उसी ऑरिजिन के robots.txt, llms.txt और llms-full.txt की भी।
यह टूल क्या जाँचता है
सर्च अब सिर्फ़ Google नहीं रह गया। ChatGPT, Claude, Perplexity, Gemini और Copilot पेज लाकर सवालों के जवाब देते हैं, और इनमें से हर एक अलग नाम वाला अलग क्रॉलर इस्तेमाल करता है। robots.txt की एक ही पंक्ति तय करती है कि आप उन जवाबों में हैं या नहीं।
AI क्रॉलर के चार प्रकार (और यह अंतर क्यों मायने रखता है)
रोकना कोई एक ही फ़ैसला नहीं है। हर AI बॉट के साथ एक जैसा व्यवहार करना ही आज वेब की सबसे आम गलती की जड़ है: साइटें उन क्रॉलरों को रोक देती हैं जो उन्हें उद्धृत करके ट्रैफ़िक वापस भेजते, जबकि वे क्रॉलर जो चुपचाप उनकी सामग्री पर प्रशिक्षण लेते हैं, अब भी अनुमति पाए हुए हैं।
प्रशिक्षण क्रॉलर
ये आपके पेजों को किसी मॉडल के प्रशिक्षण कॉर्पस में जोड़ते हैं। इन्हें रोकना आपकी सामग्री की रक्षा करता है और इससे आपका कोई ट्रैफ़िक नहीं जाता। उदाहरण: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.
AI सर्च क्रॉलर
ये वह इंडेक्स बनाते हैं जिससे AI उत्तर इंजन आपको उद्धृत करता है। इन्हें रोकना आपको उन जवाबों से हटा देता है — असली ट्रैफ़िक की कीमत यही चुकाता है। उदाहरण: OAI-SearchBot, PerplexityBot, Applebot, DuckAssistBot.
उपयोगकर्ता-प्रेरित फ़ेच
किसी असली व्यक्ति ने सहायक से आपके पेज के बारे में पूछा और वह उसे पढ़ने जाता है। इन्हें रोकने का मतलब है कि सहायक आपके ही विज़िटर से कहेगा कि वह आपका लिंक नहीं खोल सकता। उदाहरण: ChatGPT-User, Claude-User, Perplexity-User.
डेटासेट क्रॉलर
सार्वजनिक या व्यावसायिक क्रॉल कॉर्पोरा, जिन्हें कई मॉडल बाद में ग्रहण करते हैं। उदाहरण: CCBot (Common Crawl), Diffbot, AI2Bot, Webzio-Extended.
llms.txt क्या है?
llms.txt एक प्रस्तावित मानक है (llmstxt.org): आपके डोमेन की जड़ में रखी एक Markdown फ़ाइल, जो किसी AI सहायक को आपकी साइट का साफ़-सुथरा, चुना हुआ नक्शा देती है — आपके नाम वाला एक H1, ब्लॉककोट में एक पंक्ति का सारांश, फिर लिंक के खंड। यह रैंकिंग फ़ैक्टर नहीं है और कोई इंजन इसे पढ़ने को बाध्य नहीं है, पर इसे प्रकाशित करना सस्ता है और इसी से आप उस भाषा को नियंत्रित करते हैं जिससे कोई सहायक आपका वर्णन करता है। यह टूल संरचना को मान्य करता है और आपके अपने sitemap से एक शुरुआती फ़ाइल बनाता है।
अक्सर पूछे जाने वाले सवाल
क्या GPTBot को रोकने से मैं ChatGPT से हट जाऊँगा?
नहीं — और यही सबसे आम गलतफ़हमी है। GPTBot केवल मॉडल प्रशिक्षण को पोसता है। ChatGPT के लाइव जवाब OAI-SearchBot (सर्च इंडेक्स) और ChatGPT-User (जब कोई चैट में आपका लिंक खोलता है) का उपयोग करते हैं। आप GPTBot को रोक सकते हैं और फिर भी ChatGPT में उद्धृत हो सकते हैं, बशर्ते वे दोनों अनुमति में बने रहें।
क्या Google-Extended मेरी Google Search रैंकिंग को प्रभावित करता है?
नहीं। Google-Extended केवल यह नियंत्रित करता है कि आपकी सामग्री Gemini के प्रशिक्षण और ग्राउंडिंग के लिए उपयोग हो या नहीं। सामान्य Search क्रॉलिंग और रैंकिंग Googlebot द्वारा संचालित होती है, जो एक अलग टोकन है। Google-Extended को रोकने से आप Google Search से नहीं हटते।
क्या AI क्रॉलर वाकई robots.txt का पालन करते हैं?
बड़े संचालकों के नामित क्रॉलर अपने टोकन प्रकाशित करते हैं और उनके पालन करने का दस्तावेज़ीकरण है। हालाँकि robots.txt स्वैच्छिक है — यह एक अनुरोध है, दीवार नहीं। जो क्रॉलर इसे अनदेखा करते हैं, या अपनी पहचान नहीं देते, उनके लिए फ़ायरवॉल या WAF नियम चाहिए।
कुछ भी ब्लॉक न होने पर भी मेरे पेज का स्कोर कम क्यों है?
पहुँच तो आधी बात है। AI क्रॉलर JavaScript नहीं चलाते, इसलिए अगर आपका टेक्स्ट JS चलने के बाद ही दिखता है, तो उन्हें खाली पेज दिखता है। स्कोर सर्वर पर रेंडर किए गए टेक्स्ट, JSON-LD संरचित डेटा, एक स्पष्ट H1, और title के साथ description को भी अंक देता है।
क्या llms.txt ज़रूरी है?
नहीं। यह एक प्रस्ताव है, ऐसा मानक नहीं जिसे कोई इंजन लागू करता हो, और किसी बड़े इंजन ने इसे पढ़ने का वादा नहीं किया है। इसकी लागत एक फ़ाइल प्रकाशित करने भर की है और यही एकमात्र जगह है जहाँ वह सारांश आप लिखते हैं जिसे कोई सहायक हूबहू दोहरा सकता है, इसलिए नुकसान बहुत कम है।