SEO Kỹ thuật
Trình kiểm tra Khác biệt & Rủi ro Triển khai Robots.txt
Dán robots.txt đang chạy thực tế và phiên bản bạn sắp triển khai. Công cụ này chạy cả hai tệp qua công cụ quy tắc crawler thật (khớp dài nhất/ký tự đại diện/$) cho các crawler và đường dẫn bạn chọn, sau đó chỉ ra chính xác điều gì đã thay đổi — và liệu có an toàn để phát hành hay không.
Chạy hoàn toàn trong trình duyệt của bạn. Không có gì bạn dán ở đây được gửi đi đâu ngoài số lượt sử dụng ẩn danh.
Để trống nếu chỉ muốn kiểm tra riêng tệp mới, không so sánh trước/sau.
Phiên bản bạn sắp triển khai.
Mỗi lần chạy công cụ quy tắc là cho một crawler — crawler thật không bao giờ gộp nhóm riêng với nhóm ký tự đại diện.
Chỉ nhập đường dẫn và query string tùy chọn, không có domain. Bao gồm trang chủ, các template quan trọng và bất cứ điều gì bạn lo ngại.
Cách hoạt động, và tại sao diff văn bản thông thường là chưa đủ
So sánh văn bản từng dòng thông thường không thể cho bạn biết điều gì thực sự thay đổi đối với crawler: sắp xếp lại nhóm, thêm một Allow để hủy Disallow, hoặc một quy tắc dài hơn, cụ thể hơn ghi đè quy tắc ngắn hơn — tất cả đều thay đổi hành vi mà không nhất thiết trông ấn tượng trong bản diff. Công cụ này chạy lại đúng thuật toán của crawler thật (nhóm User-agent cụ thể nhất thắng trước, sau đó quy tắc Allow/Disallow khớp dài nhất thắng, Allow thắng khi hòa) trên cả hai tệp và so sánh kết quả, không phải các dòng.
Mức độ nghiêm trọng dựa trên những gì đã thay đổi: trang chủ bị chặn mới hoặc Disallow toàn trang là Nghiêm trọng, tệp CSS/JS bị chặn mới hoặc đường dẫn trông nhạy cảm (admin, checkout, account, .env) mới được mở là Cảnh báo, và bất kỳ đường dẫn nào khác mới bị chặn hoặc được phép là Thông tin để bạn tự kiểm tra.
Công cụ cũng kiểm tra cấu trúc độc lập với danh sách đường dẫn bạn liệt kê: liệu tệp mới có đưa vào "Disallow: /" toàn diện hay không, liệu chỉ thị Sitemap có bị âm thầm xóa hay không, và nhóm riêng của crawler nào đã được thêm hoặc xóa.
Hãy nhớ rằng Google và Bing hoàn toàn bỏ qua Crawl-delay, và một khi crawler khớp với một nhóm cụ thể như "Googlebot", các quy tắc dưới "User-agent: *" sẽ không bao giờ được áp dụng cho nó — chúng không được gộp lại.