SEO Teknis
Penguji Aturan Robots.txt
Tempel file robots.txt, pilih crawler, lalu uji path apa pun. Lihat persis aturan mana yang menang, dan temukan kesalahan yang diam-diam memblokir mesin pencari atau memboroskan crawl budget.
Berjalan sepenuhnya di browser Anda. Tidak ada yang dikirim ke server kecuali hitungan penggunaan anonim.
Tempel isi persis dari file robots.txt Anda.
Hanya path dan query string opsional, tanpa domain, mis. /blog/post-1?ref=x.
Cara kerja alat ini, dan cara memperbaiki kesalahan umum
Crawler sungguhan memilih satu grup User-agent paling spesifik yang cocok dengan namanya (kecocokan persis atau prefix terpanjang mengalahkan "*"), lalu, hanya di dalam grup itu, menerapkan aturan Allow atau Disallow dengan pola path terpanjang yang cocok, dengan Allow menang jika seri. Alat ini menjalankan algoritme persis itu — bukan sekadar mencari Disallow pertama yang ditemukan.
"*" di dalam sebuah aturan cocok dengan urutan karakter apa pun, dan "$" di akhir menjangkarkan aturan ke akhir path. Disallow: /*.pdf$ memblokir /file.pdf tapi tidak /file.pdf?ref=1 — sumber umum PDF yang tak sengaja masih bisa di-crawl.
Baris "Disallow:" kosong berarti tidak ada pembatasan sama sekali — tidak memblokir apa pun. Dan begitu sebuah crawler cocok dengan grup spesifik (mis. "Googlebot"), aturan di bawah "User-agent: *" sepenuhnya diabaikan untuk crawler itu; keduanya tidak pernah digabung.
Kesalahan umum yang ditandai alat ini: Disallow: / yang tersisa dari situs staging (memblokir semuanya), aturan yang diletakkan sebelum baris User-agent mana pun (diam-diam diabaikan), Crawl-delay (diabaikan Google dan Bing), dan URL Sitemap yang tidak absolut.