AI Search / GEO

AI Crawler နှင့် llms.txt စစ်ဆေးကိရိယာ

မည်သည့် AI crawler များက သင့်စာမျက်နှာကို ဖတ်နိုင်သည်ကို၊ အဘယ်ကြောင့်ဆိုသည်ကိုပါ ကြည့်ပါ။ ဝဘ်ဆိုက်အများစုသည် သူတို့ကို ကိုးကားပေးသည့် AI engine များကို ပိတ်ထားပြီး သူတို့၏ အကြောင်းအရာဖြင့် လေ့ကျင့်သည့် crawler များကိုမူ ပွင့်လင်းစွာ ခွင့်ပြုထားသည် — ဤကိရိယာက ထိုအရာကို ရှာဖွေပေးသည်။

သင်ထည့်သွင်းသော စာမျက်နှာအပြင် ထို origin ၏ robots.txt၊ llms.txt နှင့် llms-full.txt ကိုပါ စစ်ဆေးသည်။

ဤကိရိယာက ဘာတွေ စစ်ဆေးသလဲ

ရှာဖွေမှုသည် Google တစ်ခုတည်း မဟုတ်တော့ပါ။ ChatGPT၊ Claude၊ Perplexity၊ Gemini နှင့် Copilot တို့သည် စာမျက်နှာများကို ရယူပြီး မေးခွန်းများကို ဖြေဆိုကြပြီး တစ်ခုချင်းစီသည် နာမည်သီးခြားရှိသော crawler အသီးသီးကို သုံးသည်။ robots.txt ထဲက စာကြောင်းတစ်ကြောင်းတည်းက သင် ထိုအဖြေများထဲ ပါဝင်မည်မပါဝင်မည်ကို ဆုံးဖြတ်သည်။

AI crawler လေးမျိုး (နှင့် ကွာခြားချက်က အဘယ်ကြောင့် အရေးကြီးသလဲ)

ပိတ်ဆို့ခြင်းသည် ဆုံးဖြတ်ချက် တစ်ခုတည်း မဟုတ်ပါ။ AI bot တိုင်းကို တူညီစွာ ဆက်ဆံခြင်းသည် ယနေ့ ဝဘ်ပေါ်တွင် အဖြစ်များဆုံး အမှားကို ဖြစ်စေသည် — ဝဘ်ဆိုက်များသည် သူတို့ကို ကိုးကားပြီး traffic ပြန်ပို့ပေးမည့် crawler များကို ပိတ်ထားပြီး သူတို့၏ အကြောင်းအရာဖြင့် တိတ်တဆိတ် လေ့ကျင့်နေသည့် crawler များကိုမူ ခွင့်ပြုထားဆဲ ဖြစ်သည်။

လေ့ကျင့်ရေး crawler များ

သင့်စာမျက်နှာများကို မော်ဒယ်တစ်ခု၏ လေ့ကျင့်ရေး အချက်အလက်စုထဲ ထည့်သွင်းသည်။ ၎င်းတို့ကို ပိတ်ခြင်းသည် သင့်အကြောင်းအရာကို ကာကွယ်ပေးပြီး traffic မဆုံးရှုံးစေပါ။ ဥပမာ — GPTBot၊ ClaudeBot၊ Google-Extended၊ Applebot-Extended။

AI ရှာဖွေရေး crawler များ

AI အဖြေပေး engine တစ်ခုက ကိုးကားရာ index ကို တည်ဆောက်သည်။ ၎င်းတို့ကို ပိတ်ခြင်းသည် ထိုအဖြေများထဲမှ သင့်ကို ဖယ်ရှားလိုက်သည် — ဤအရာက traffic အစစ်အမှန်ကို ဆုံးရှုံးစေသည်။ ဥပမာ — OAI-SearchBot၊ PerplexityBot၊ Applebot၊ DuckAssistBot။

အသုံးပြုသူက စတင်စေသော ရယူမှုများ

လူတစ်ဦးက သင့်စာမျက်နှာအကြောင်း လက်ထောက်ကို မေးလိုက်၍ ၎င်းက ဖတ်ရန် သွားခြင်း ဖြစ်သည်။ ၎င်းတို့ကို ပိတ်ခြင်းသည် သင့်ကိုယ်ပိုင် လာရောက်သူအား သင့်လင့်ခ်ကို ဖွင့်၍ မရကြောင်း လက်ထောက်က ပြောလိုက်ခြင်း ဖြစ်သည်။ ဥပမာ — ChatGPT-User၊ Claude-User၊ Perplexity-User။

အချက်အလက်စု crawler များ

မော်ဒယ်များစွာက နောက်ပိုင်းတွင် စုပ်ယူသည့် အများပြည်သူသုံး သို့မဟုတ် စီးပွားဖြစ် crawl အချက်အလက်စုများ။ ဥပမာ — CCBot (Common Crawl)၊ Diffbot၊ AI2Bot၊ Webzio-Extended။

llms.txt ဆိုတာ ဘာလဲ

llms.txt သည် အဆိုပြုထားသော စံတစ်ခု (llmstxt.org) ဖြစ်သည် — သင့် domain ၏ အမြစ်တွင် ထားသည့် Markdown ဖိုင်တစ်ခုဖြစ်ပြီး AI လက်ထောက်တစ်ခုအား သင့်ဆိုက်၏ သန့်ရှင်း၍ စီစဉ်ထားသော မြေပုံကို ပေးသည် — သင့်နာမည်ပါသော H1၊ blockquote အတွင်း တစ်ကြောင်းတည်း အနှစ်ချုပ်၊ ထို့နောက် လင့်ခ်များ၏ အပိုင်းများ။ ၎င်းသည် အဆင့်သတ်မှတ်ရေး အချက်မဟုတ်သလို မည်သည့် engine ကမျှ ဖတ်ရန် တာဝန်မရှိပါ၊ သို့သော် ထုတ်ဝေရန် ကုန်ကျစရိတ်နည်းပြီး လက်ထောက်တစ်ခုက သင့်ကို ဖော်ပြရာတွင် သုံးမည့် စကားလုံးများကို ထိန်းချုပ်နိုင်သည့် နည်းလမ်း ဖြစ်သည်။ ဤကိရိယာက ဖွဲ့စည်းပုံကို စိစစ်ပြီး သင့်ကိုယ်ပိုင် sitemap မှ စတင်ဖိုင်တစ်ခုကို ဖန်တီးပေးသည်။

မကြာခဏ မေးလေ့ရှိသော မေးခွန်းများ

GPTBot ကို ပိတ်လိုက်ရင် ChatGPT ထဲက ကျွန်ုပ် ပျောက်သွားမလား

မဟုတ်ပါ — ဤအရာသည် အဖြစ်များဆုံး နားလည်မှုလွဲမှား ဖြစ်သည်။ GPTBot သည် မော်ဒယ် လေ့ကျင့်ရေးကိုသာ ကျွေးမွေးသည်။ ChatGPT ၏ တိုက်ရိုက် အဖြေများသည် OAI-SearchBot (ရှာဖွေရေး index) နှင့် ChatGPT-User (တစ်စုံတစ်ဦးက စကားပြောထဲတွင် သင့်လင့်ခ်ကို ဖွင့်သည့်အခါ) ကို သုံးသည်။ ထိုနှစ်ခုကို ခွင့်ပြုထားသရွေ့ GPTBot ကို ပိတ်ထားပြီးမှ ChatGPT က သင့်ကို ကိုးကားနေဆဲ ဖြစ်နိုင်သည်။

Google-Extended က ကျွန်ုပ်၏ Google Search အဆင့်ကို ထိခိုက်စေသလား

မထိခိုက်ပါ။ Google-Extended သည် သင့်အကြောင်းအရာကို Gemini လေ့ကျင့်ရေးနှင့် အခြေခံချက်အတွက် သုံးမည်မသုံးမည်ကိုသာ ထိန်းချုပ်သည်။ ပုံမှန် Search crawl နှင့် အဆင့်သတ်မှတ်ခြင်းကို သီးခြား token ဖြစ်သည့် Googlebot က ထိန်းချုပ်သည်။ Google-Extended ကို ပိတ်ခြင်းသည် Google Search မှ သင့်ကို မဖယ်ရှားပါ။

AI crawler တွေက robots.txt ကို တကယ် လိုက်နာသလား

အဓိက operator များထံမှ နာမည်ပါသော crawler များသည် သူတို့၏ token များကို ထုတ်ဝေထားပြီး ၎င်းကို လိုက်နာကြောင်း စာရွက်စာတမ်းပြုထားသည်။ သို့သော် robots.txt သည် မိမိဆန္ဒအလျောက် ဖြစ်သည် — ၎င်းသည် တောင်းဆိုချက်ဖြစ်ပြီး နံရံ မဟုတ်ပါ။ ၎င်းကို လျစ်လျူရှုသော သို့မဟုတ် ကိုယ်ကို မဖော်ပြသော crawler များအတွက် firewall သို့မဟုတ် WAF စည်းမျဉ်း လိုအပ်သည်။

ဘာမှ ပိတ်မထားပါဘဲ ကျွန်ုပ်၏ စာမျက်နှာ ရမှတ် အဘယ်ကြောင့် နိမ့်နေသလဲ

ဝင်ရောက်ခွင့်သည် တစ်ဝက်သာ ဖြစ်သည်။ AI crawler များသည် JavaScript ကို မလည်ပတ်စေသဖြင့် သင့်စာသားသည် JS လည်ပတ်ပြီးမှသာ ပေါ်လာပါက ၎င်းတို့သည် စာမျက်နှာ ဗလာကိုသာ မြင်သည်။ ရမှတ်သည် server မှ render လုပ်သော စာသား၊ JSON-LD ဖွဲ့စည်းထားသော ဒေတာ၊ ရှင်းလင်းသော H1 တစ်ခုတည်း၊ ခေါင်းစဉ်နှင့် ဖော်ပြချက်တို့ကိုလည်း အမှတ်ပေးသည်။

llms.txt က မဖြစ်မနေ လိုအပ်သလား

မလိုအပ်ပါ။ ၎င်းသည် အဆိုပြုချက်ဖြစ်ပြီး မည်သည့် engine ကမျှ အတည်ပြု အသုံးချထားသော စံ မဟုတ်သလို အဓိက engine တစ်ခုမျှ ဖတ်မည်ဟု ကတိမပြုထားပါ။ ထုတ်ဝေရန် ဖိုင်တစ်ခုသာ ကုန်ကျပြီး လက်ထောက်တစ်ခုက စာလုံးအတိုင်း ပြန်သုံးနိုင်သည့် အနှစ်ချုပ်ကို သင် ရေးနိုင်သည့် တစ်ခုတည်းသော နေရာ ဖြစ်သောကြောင့် ဆုံးရှုံးမှု နည်းပါသည်။