SEO เชิงเทคนิค
ตัวตรวจสอบความแตกต่างและความเสี่ยงก่อน Deploy ของ Robots.txt
วาง robots.txt ที่ใช้งานอยู่จริงและเวอร์ชันที่กำลังจะ deploy เครื่องมือนี้จะรันทั้งสองไฟล์ผ่านตรรกะการจับคู่แบบยาวที่สุด/wildcard/$ ของ crawler จริง ตามค่า crawler และเส้นทางที่คุณเลือก แล้วชี้ให้เห็นสิ่งที่เปลี่ยนไปจริง ๆ — และปลอดภัยพอจะปล่อยหรือไม่
ทำงานทั้งหมดในเบราว์เซอร์ของคุณ สิ่งที่คุณวางที่นี่จะไม่ถูกส่งไปที่ใดเลย ยกเว้นตัวนับการใช้งานแบบไม่ระบุตัวตน
เว้นว่างไว้หากต้องการตรวจสอบเฉพาะไฟล์ใหม่ โดยไม่ต้องเปรียบเทียบก่อน/หลัง
เวอร์ชันที่คุณกำลังจะ deploy
การรันตรรกะแต่ละครั้งทำต่อ crawler หนึ่งตัว — crawler จริงจะไม่รวมกลุ่มเฉพาะเข้ากับกลุ่ม wildcard
ใส่เฉพาะเส้นทางและ query string ที่ไม่บังคับ ไม่ต้องใส่โดเมน ควรใส่หน้าแรก เทมเพลตสำคัญ และเส้นทางที่คุณกังวล
เครื่องมือนี้ทำงานอย่างไร และทำไม diff แบบข้อความอย่างเดียวจึงไม่พอ
การ diff ข้อความทีละบรรทัดแบบธรรมดาไม่สามารถบอกได้ว่าอะไรเปลี่ยนแปลงจริงสำหรับ crawler: การสลับลำดับกลุ่ม การเพิ่ม Allow ที่ล้มล้าง Disallow หรือกฎที่ยาวและเจาะจงกว่าที่มาแทนที่กฎที่สั้นกว่า ล้วนเปลี่ยนพฤติกรรมได้โดยไม่จำเป็นต้องดูน่าตกใจใน diff เครื่องมือนี้รันอัลกอริทึมของ crawler จริง — กลุ่ม User-agent ที่เจาะจงที่สุดชนะก่อน จากนั้นกฎ Allow/Disallow ที่จับคู่ได้ยาวที่สุดชนะ โดย Allow ชนะเมื่อเสมอกัน — กับทั้งสองไฟล์แล้วเปรียบเทียบผลลัพธ์ ไม่ใช่เปรียบเทียบบรรทัด
ระดับความรุนแรงขึ้นอยู่กับสิ่งที่เปลี่ยนแปลง: หน้าแรกถูกบล็อกใหม่หรือมี Disallow ทั้งเว็บไซต์ถือเป็นระดับวิกฤต ไฟล์ CSS/JS ที่ถูกบล็อกใหม่ หรือเส้นทางที่ดูอ่อนไหว (admin, checkout, account, .env) ที่ถูกเปิดใหม่ถือเป็นคำเตือน และเส้นทางอื่น ๆ ที่ถูกบล็อกหรือเปิดใหม่ถือเป็นข้อมูลให้ตรวจสอบเอง
เครื่องมือนี้ยังตรวจสอบโครงสร้างโดยไม่ขึ้นกับรายการเส้นทางที่คุณใส่: ไฟล์ใหม่มี "Disallow: /" แบบครอบคลุมทั้งหมดหรือไม่ คำสั่ง Sitemap ถูกลบไปเงียบ ๆ หรือไม่ และกลุ่มเฉพาะ crawler ใดถูกเพิ่มหรือลบไป
โปรดจำไว้ว่า Google และ Bing ไม่สนใจ Crawl-delay เลย และเมื่อ crawler จับคู่กับกลุ่มเฉพาะอย่าง "Googlebot" กฎภายใต้ "User-agent: *" จะไม่ถูกนำไปใช้กับมันอีกเลย — ทั้งสองจะไม่ถูกรวมกัน