Thu thập

Công cụ Kiểm tra Robots.txt & Sitemap

Dán một tên miền để kiểm tra robots.txt và thu thập các sitemap được liên kết (các biến thể root/blog/blacklist/forum). Hiển thị các URL bị chặn, sitemap mồ côi và các mục sai định dạng. Chỉ chạy phía máy khách—có thể bị giới hạn bởi CORS.

Kiểm tra

URL trang web (ví dụ: https://example.com)

Những gì chúng tôi kiểm tra

• Khả dụng của robots.txt và các quy tắc Disallow/Allow.
• Phát hiện sitemap (robots.txt + các đường dẫn phổ biến như /sitemap.xml, /blog/sitemap.xml).
• Số lượng URL trên mỗi sitemap và các mục sai định dạng.
• Gắn cờ các URL bị chặn nhưng vẫn xuất hiện trong sitemap.