AI Search / GEO

ตัวตรวจสอบ AI Crawler และ llms.txt

ดูว่า AI crawler ตัวไหนอ่านหน้าเว็บของคุณได้ และเพราะอะไร เว็บไซต์ส่วนใหญ่บล็อก AI engine ที่จะอ้างอิงถึงตน แต่กลับเปิดกว้างให้ตัวที่นำเนื้อหาไปเทรน — เครื่องมือนี้ช่วยหาจุดนั้น

ตรวจสอบหน้าเว็บที่คุณกรอก พร้อมทั้ง robots.txt, llms.txt และ llms-full.txt ของโดเมนนั้น

เครื่องมือนี้ตรวจอะไรบ้าง

การค้นหาไม่ได้มีแค่ Google อีกต่อไป ChatGPT, Claude, Perplexity, Gemini และ Copilot ตอบคำถามด้วยการดึงหน้าเว็บมาอ่าน และแต่ละตัวใช้ crawler คนละตัวที่มีชื่อแยกกัน บรรทัดเดียวใน robots.txt เป็นตัวตัดสินว่าคุณจะอยู่ในคำตอบเหล่านั้นหรือไม่

AI crawler สี่ประเภท (และเหตุใดความต่างจึงสำคัญ)

การบล็อกไม่ใช่การตัดสินใจเดียว การปฏิบัติกับ AI bot ทุกตัวเหมือนกันหมดคือสาเหตุของความผิดพลาดที่พบบ่อยที่สุดบนเว็บตอนนี้ นั่นคือเว็บไซต์บล็อก crawler ที่จะอ้างอิงถึงตนและส่งทราฟฟิกกลับมา ในขณะที่ crawler ซึ่งเก็บเนื้อหาไปเทรนอย่างเงียบ ๆ กลับยังได้รับอนุญาตอยู่

Crawler สำหรับเทรนโมเดล

พวกมันนำหน้าเว็บของคุณเข้าไปในคลังข้อมูลเทรนของโมเดล การบล็อกช่วยปกป้องเนื้อหาของคุณและไม่ทำให้เสียทราฟฟิกเลย ตัวอย่าง: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended

Crawler สำหรับ AI search

พวกมันสร้างดัชนีที่ AI answer engine ใช้อ้างอิง การบล็อกจะทำให้คุณหายไปจากคำตอบเหล่านั้น — นี่คือตัวที่ทำให้เสียทราฟฟิกจริง ๆ ตัวอย่าง: OAI-SearchBot, PerplexityBot, Applebot, DuckAssistBot

การดึงหน้าที่ผู้ใช้เป็นคนสั่ง

มีคนจริง ๆ ถามผู้ช่วย AI เกี่ยวกับหน้าเว็บของคุณ แล้วมันจึงไปอ่าน การบล็อกกลุ่มนี้แปลว่าผู้ช่วยจะบอกผู้เข้าชมของคุณเองว่าเปิดลิงก์ของคุณไม่ได้ ตัวอย่าง: ChatGPT-User, Claude-User, Perplexity-User

Crawler สำหรับชุดข้อมูล

คลังข้อมูลการเก็บเว็บแบบสาธารณะหรือเชิงพาณิชย์ที่หลายโมเดลนำไปใช้ในภายหลัง ตัวอย่าง: CCBot (Common Crawl), Diffbot, AI2Bot, Webzio-Extended

llms.txt คืออะไร?

llms.txt เป็นมาตรฐานที่ถูกเสนอไว้ (llmstxt.org): ไฟล์ Markdown ที่รากของโดเมนซึ่งให้แผนผังเว็บไซต์ของคุณแก่ผู้ช่วย AI อย่างสะอาดและคัดสรรมาแล้ว — H1 ที่เป็นชื่อของคุณ สรุปหนึ่งบรรทัดใน blockquote แล้วตามด้วยส่วนต่าง ๆ ของลิงก์ มันไม่ใช่ปัจจัยจัดอันดับ และไม่มี engine ใดถูกบังคับให้อ่าน แต่เผยแพร่ได้ง่ายมาก และเป็นวิธีที่คุณควบคุมถ้อยคำที่ผู้ช่วยจะใช้อธิบายคุณ เครื่องมือนี้ตรวจสอบโครงสร้างและสร้างไฟล์เริ่มต้นจาก sitemap ของคุณเอง

คำถามที่พบบ่อย

การบล็อก GPTBot ทำให้ผมหายไปจาก ChatGPT ไหม?

ไม่ — และนี่คือความเข้าใจผิดที่พบบ่อยที่สุด GPTBot ป้อนข้อมูลให้การเทรนโมเดลเท่านั้น คำตอบสด ๆ ของ ChatGPT ใช้ OAI-SearchBot (ดัชนีการค้นหา) และ ChatGPT-User (เมื่อมีคนเปิดลิงก์ของคุณในแชท) คุณบล็อก GPTBot ได้และยังถูก ChatGPT อ้างอิงอยู่ ตราบใดที่สองตัวนั้นยังได้รับอนุญาต

Google-Extended กระทบอันดับใน Google Search ของผมไหม?

ไม่ Google-Extended ควบคุมเพียงว่าเนื้อหาของคุณจะถูกใช้สำหรับการเทรนและการอ้างอิงข้อมูลของ Gemini หรือไม่ การเก็บข้อมูลและการจัดอันดับของ Search ปกติอยู่ภายใต้ Googlebot ซึ่งเป็นโทเคนแยกต่างหาก การบล็อก Google-Extended ไม่ได้ทำให้คุณหายไปจาก Google Search

AI crawler ทำตาม robots.txt จริงหรือ?

ตัวที่มีชื่อจากผู้ให้บริการรายใหญ่ประกาศโทเคนของตนไว้ และมีเอกสารระบุว่าปฏิบัติตาม แต่ robots.txt เป็นความสมัครใจ — มันคือคำขอ ไม่ใช่กำแพง Crawler ที่เพิกเฉยหรือไม่ระบุตัวตน ต้องใช้กฎบนไฟร์วอลล์หรือ WAF แทน

ทำไมหน้าเว็บของผมได้คะแนนต่ำ ทั้งที่ไม่มีอะไรถูกบล็อกเลย?

การเข้าถึงเป็นแค่ครึ่งเดียว AI crawler ไม่รัน JavaScript ดังนั้นถ้าข้อความของคุณปรากฏหลัง JS ทำงานเท่านั้น พวกมันจะเห็นหน้าเปล่า คะแนนยังให้ค่ากับข้อความที่เรนเดอร์ฝั่งเซิร์ฟเวอร์ ข้อมูลโครงสร้าง JSON-LD, H1 เดียวที่ชัดเจน รวมถึง title และ description

llms.txt จำเป็นไหม?

ไม่ มันเป็นข้อเสนอ ไม่ใช่มาตรฐานที่ engine ใดบังคับใช้ และยังไม่มี engine รายใหญ่รายใดให้คำมั่นว่าจะอ่าน ต้นทุนคือไฟล์เดียวในการเผยแพร่ และเป็นที่เดียวที่คุณได้เขียนสรุปซึ่งผู้ช่วยอาจนำไปใช้ซ้ำแบบคำต่อคำ ข้อเสียจึงน้อยมาก