နည်းပညာဆိုင်ရာ SEO
Robots.txt ကွာခြားချက် နှင့် Deploy အန္တရာယ် စစ်ဆေးကိရိယာ
သင့်လက်ရှိအသုံးပြုနေသော robots.txt နှင့် deploy လုပ်တော့မည့် ဗားရှင်းကို paste လုပ်ပါ။ ဤကိရိယာသည် သင်ရွေးချယ်သော crawler များနှင့် path များအတွက် တကယ့် longest-match/wildcard/$ engine ဖြင့် ဖိုင်နှစ်ခုစလုံးကို run ပြီး၊ အမှန်တကယ် ပြောင်းလဲသွားသည့်အရာများကို ညွှန်ပြပါသည် — deploy လုပ်ရန် ဘေးကင်းမှု ရှိမရှိလည်း ပါဝင်ပါသည်။
Browser ထဲတွင်သာ အလုံးစုံ လုပ်ဆောင်ပါသည်။ အမည်မဖော်သည့် အသုံးပြုမှုအရေအတွက်မှလွဲ၍ ဤနေရာတွင် paste လုပ်သည့်အရာများကို မည်သည့်နေရာကိုမျှ ပို့ဆောင်ခြင်း မရှိပါ။
ဖိုင်အသစ်ကိုသာ စစ်ဆေးလိုပါက ဤနေရာကို ဗလာချန်ထားပါ (ယခင်/နောက်ပိုင်း နှိုင်းယှဉ်မှု မလုပ်ပါ)။
သင် deploy လုပ်တော့မည့် ဗားရှင်း။
စည်းမျဉ်း engine တစ်ခုစီကို crawler တစ်ခုချင်းအလိုက် run ပါသည် — တကယ့် crawler များသည် သီးခြားအုပ်စုနှင့် wildcard အုပ်စုကို ဘယ်တော့မှ ပေါင်းစပ်လေ့ မရှိပါ။
domain မပါဘဲ path နှင့် ရွေးချယ်နိုင်သော query string သာ ထည့်ပါ။ home page၊ အဓိက template များနှင့် စိုးရိမ်နေသည့် path များကို ထည့်ပါ။
ဤကိရိယာ မည်သို့လုပ်ဆောင်သည်၊ ဘာကြောင့် စာသား diff တစ်ခုတည်း မလုံလောက်သနည်း
ရိုးရိုး line-by-line စာသား diff သည် crawler အတွက် အမှန်တကယ် ဘာပြောင်းလဲသွားသည်ကို မပြောပြနိုင်ပါ— အုပ်စုအစီအစဉ်ပြောင်းခြင်း၊ Disallow ကို ပယ်ဖျက်သည့် Allow တစ်ခု ထပ်ထည့်ခြင်း၊ ပိုရှည်ပြီး တိကျသော စည်းမျဉ်းတစ်ခုက ပိုတိုသည့် စည်းမျဉ်းကို overrule လုပ်ခြင်း — ဤအရာအားလုံးသည် diff ပေါ်တွင် သိသိသာသာ မမြင်ရသော်လည်း အပြုအမူကို ပြောင်းလဲစေနိုင်ပါသည်။ ဤကိရိယာသည် တကယ့် crawler algorithm (အသေးစိတ်ဆုံး User-agent အုပ်စုက အနိုင်ရသည်၊ ထို့နောက် ရှည်လျားစွာ ကိုက်ညီသည့် Allow/Disallow စည်းမျဉ်းက အနိုင်ရသည်၊ ညီမျှပါက Allow က အနိုင်ရသည်) ကို ဖိုင်နှစ်ခုစလုံးအပေါ် ထပ်မံ run ပြီး line များကို မဟုတ်ဘဲ ရလဒ်များကို နှိုင်းယှဉ်ပါသည်။
အလေးအနက်ကို ပြောင်းလဲသွားသည့်အရာအပေါ် အခြေခံသတ်မှတ်ပါသည်— home page အသစ် block ခံရခြင်း (သို့) site တစ်ခုလုံး Disallow ဖြစ်ခြင်းသည် Critical ဖြစ်ပြီး၊ CSS/JS ဖိုင် အသစ် block ခံရခြင်း (သို့) ထိရှလွယ်ဟန်ရှိသည့် path (admin၊ checkout၊ account၊ .env) အသစ် ဖွင့်ပေးခြင်းသည် Warning ဖြစ်ပြီး၊ ကျန်ရှိသော အသစ် block/ခွင့်ပြုမှုများသည် သင်ကိုယ်တိုင် စစ်ဆေးနိုင်ရန် Info အဖြစ် ပြသပါသည်။
ဤကိရိယာသည် သင်ထည့်သွင်းသည့် path စာရင်းနှင့် သီးခြားစွာ structure ကိုလည်း စစ်ဆေးပါသည်— ဖိုင်အသစ်တွင် ပြည့်စုံသော "Disallow: /" တစ်ခု ထည့်သွင်းလိုက်ခြင်း ရှိမရှိ၊ Sitemap ညွှန်ကြားချက်ကို တိတ်တဆိတ် ဖျက်ပစ်ခြင်း ရှိမရှိ၊ crawler-specific အုပ်စု မည်သည်ကို ထည့်သွင်း (သို့) ဖယ်ရှားလိုက်ကြောင်း။
Google နှင့် Bing တို့သည် Crawl-delay ကို လုံးဝ လျစ်လျူရှုကြောင်းနှင့် crawler တစ်ခုသည် "Googlebot" ကဲ့သို့ သီးခြားအုပ်စုနှင့် ကိုက်ညီသွားသည့်အခါ "User-agent: *" အောက်ရှိ စည်းမျဉ်းများကို ၎င်းအတွက် ဘယ်တော့မှ အသုံးမပြုကြောင်း (ပေါင်းစပ်ခြင်း မရှိကြောင်း) မှတ်သားထားပါ။