SEO Teknis
Pemeriksa Diff & Risiko Deploy Robots.txt
Tempel robots.txt yang sedang live dan versi yang akan Anda deploy. Alat ini menjalankan keduanya lewat mesin aturan crawler yang sesungguhnya (longest-match/wildcard/$) untuk crawler dan path pilihan Anda, lalu menandai persis apa yang berubah — dan apakah aman untuk dirilis.
Berjalan sepenuhnya di browser Anda. Tidak ada yang Anda tempel di sini dikirim ke mana pun kecuali hitungan penggunaan anonim.
Kosongkan jika hanya ingin mengaudit file baru saja, tanpa perbandingan sebelum/sesudah.
Versi yang akan Anda deploy.
Setiap proses mesin aturan berjalan per crawler — crawler sungguhan tidak pernah menggabungkan grup spesifik dengan grup wildcard.
Hanya path dan query string opsional, tanpa domain. Sertakan homepage, template penting, dan hal yang Anda khawatirkan.
Cara kerja alat ini, dan kenapa diff teks saja tidak cukup
Diff teks baris-per-baris biasa tidak bisa memberi tahu apa yang sungguh berubah bagi crawler: mengurutkan ulang grup, menambah Allow yang membatalkan Disallow, atau aturan yang lebih panjang dan spesifik yang mengalahkan aturan yang lebih pendek — semua bisa mengubah perilaku tanpa terlihat dramatis di diff. Alat ini menjalankan ulang algoritma crawler sesungguhnya — grup User-agent paling spesifik menang, lalu aturan Allow/Disallow dengan kecocokan terpanjang menang, Allow memenangkan seri — pada kedua file dan membandingkan hasilnya, bukan barisnya.
Tingkat keparahan berdasarkan apa yang berubah: homepage yang baru diblokir atau Disallow untuk seluruh situs berstatus Kritis, file CSS/JS yang baru diblokir atau path yang baru terbuka dan terlihat sensitif (admin, checkout, account, .env) berstatus Peringatan, dan path lain yang baru diblokir/diizinkan berstatus Info agar Anda bisa memeriksanya sendiri.
Alat ini juga memeriksa struktur terlepas dari daftar path Anda: apakah file baru menambahkan "Disallow: /" menyeluruh, apakah arahan Sitemap diam-diam dihapus, dan grup khusus crawler mana yang ditambah atau dihapus.
Ingat bahwa Google dan Bing sepenuhnya mengabaikan Crawl-delay, dan begitu sebuah crawler cocok dengan grup spesifik seperti "Googlebot", aturan di bawah "User-agent: *" tidak pernah diterapkan padanya — keduanya tidak digabung.