SEO បច្ចេកទេស
ឧបករណ៍សាកល្បងច្បាប់ Robots.txt
បិទភ្ជាប់ឯកសារ robots.txt ជ្រើសរើស crawler ហើយសាកល្បងផ្លូវណាមួយ។ មើលច្បាស់ថាតើច្បាប់ណាឈ្នះ ហើយចាប់កំហុសដែលលាក់ទប់ស្កាត់ម៉ាស៊ីនស្វែងរក ឬខ្ជះខ្ជាយ crawl budget។
ដំណើរការទាំងស្រុងនៅក្នុងកម្មវិធីរុករករបស់អ្នក។ គ្មានអ្វីដែលអ្នកបិទភ្ជាប់ត្រូវបានផ្ញើទៅកន្លែងណាឡើយ លើកលែងតែចំនួនប្រើប្រាស់អនាមិក។
បិទភ្ជាប់មាតិកាពិតប្រាកដនៃឯកសារ robots.txt របស់អ្នក។
ដាក់តែផ្លូវ និង query string ស្រេចចិត្ត គ្មានដែន ឧ. /blog/post-1?ref=x
របៀបដែលវាដំណើរការ និងវិធីកែកំហុសទូទៅ
Crawler ពិតប្រាកដជ្រើសរើសក្រុម User-agent ដែលជាក់លាក់បំផុតតែមួយដែលផ្គូផ្គងឈ្មោះរបស់វា (ការផ្គូផ្គងពិតប្រាកដ ឬ prefix វែងបំផុតឈ្នះ "*") បន្ទាប់មកនៅក្នុងក្រុមនោះតែប៉ុណ្ណោះ អនុវត្តច្បាប់ Allow ឬ Disallow ដែលមានលំនាំផ្លូវផ្គូផ្គងវែងបំផុត ដោយ Allow ឈ្នះនៅពេលស្មើគ្នា។ ឧបករណ៍នេះដំណើរការតាមក្បួនដ៏ត្រឹមត្រូវនេះ — មិនមែនគ្រាន់តែស្វែងរក Disallow ដំបូងដែលរកឃើញនោះទេ។
"*" នៅក្នុងច្បាប់ផ្គូផ្គងលំដាប់តួអក្សរណាមួយ ហើយ "$" នៅចុងបញ្ចប់ចងច្បាប់ទៅចុងបញ្ចប់នៃផ្លូវ។ Disallow: /*.pdf$ ទប់ស្កាត់ /file.pdf ប៉ុន្តែមិនទប់ស្កាត់ /file.pdf?ref=1 ទេ — ជាមូលហេតុទូទៅដែល PDF នៅតែអាច crawl បានដោយអចេតនា។
បន្ទាត់ "Disallow:" ទទេមានន័យថាគ្មានការរឹតបន្តឹងទាល់តែសោះ — វាមិនទប់ស្កាត់អ្វីទាំងអស់។ ហើយនៅពេល crawler ផ្គូផ្គងជាមួយក្រុមជាក់លាក់ (ដូចជា "Googlebot") ច្បាប់នៅក្រោម "User-agent: *" ត្រូវបានមិនអើពើទាំងស្រុងសម្រាប់ crawler នោះ ពួកវាមិនដែលត្រូវបានបញ្ចូលគ្នាឡើយ។
កំហុសទូទៅដែលឧបករណ៍នេះចង្អុលបង្ហាញ៖ Disallow: / ដែលនៅសេសសល់ពី staging site (ទប់ស្កាត់ទាំងអស់), ច្បាប់ដែលដាក់មុនបន្ទាត់ User-agent ណាមួយ (ត្រូវបានមិនអើពើដោយស្ងាត់), Crawl-delay (Google និង Bing មិនអើពើ), និង Sitemap URL ដែលមិនមែនជា absolute។