AI Search / GEO
Công cụ kiểm tra AI Crawler & llms.txt
Xem AI crawler nào đọc được trang của bạn, và vì sao. Hầu hết website đều chặn chính những AI engine trích dẫn họ, trong khi để mở toang cho những con huấn luyện trên nội dung của họ — công cụ này tìm ra điều đó.
Kiểm tra trang bạn nhập, cùng với robots.txt, llms.txt và llms-full.txt của origin đó.
Công cụ này kiểm tra những gì
Tìm kiếm không còn chỉ là Google. ChatGPT, Claude, Perplexity, Gemini và Copilot trả lời câu hỏi bằng cách tải các trang, và mỗi bên dùng một crawler riêng có tên gọi khác nhau. Chỉ một dòng trong robots.txt quyết định bạn có xuất hiện trong những câu trả lời đó hay không.
Bốn loại AI crawler (và vì sao sự khác biệt lại quan trọng)
Chặn không phải là một quyết định duy nhất. Đối xử với mọi AI bot như nhau chính là nguyên nhân của sai lầm phổ biến nhất trên web hiện nay: các website chặn đúng những crawler lẽ ra đã trích dẫn họ và gửi lưu lượng truy cập trở lại, trong khi những crawler âm thầm huấn luyện trên nội dung của họ thì vẫn được cho phép.
Crawler huấn luyện
Chúng đưa các trang của bạn vào kho dữ liệu huấn luyện của một mô hình. Chặn chúng giúp bảo vệ nội dung của bạn và không làm bạn mất lưu lượng truy cập. Ví dụ: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.
Crawler tìm kiếm AI
Chúng xây dựng chỉ mục mà một AI answer engine trích dẫn từ đó. Chặn chúng sẽ loại bạn khỏi những câu trả lời đó — đây mới là loại khiến bạn mất lưu lượng truy cập thật. Ví dụ: OAI-SearchBot, PerplexityBot, Applebot, DuckAssistBot.
Lượt tải do người dùng kích hoạt
Một người thật đã hỏi trợ lý về trang của bạn và nó tìm đến để đọc. Chặn những con này nghĩa là trợ lý sẽ nói với chính khách truy cập của bạn rằng nó không mở được liên kết của bạn. Ví dụ: ChatGPT-User, Claude-User, Perplexity-User.
Crawler kho dữ liệu
Các kho dữ liệu crawl công khai hoặc thương mại mà nhiều mô hình nạp vào sau này. Ví dụ: CCBot (Common Crawl), Diffbot, AI2Bot, Webzio-Extended.
llms.txt là gì?
llms.txt là một tiêu chuẩn được đề xuất (llmstxt.org): một tệp Markdown đặt tại thư mục gốc của tên miền, cung cấp cho trợ lý AI một bản đồ gọn gàng, có chọn lọc về website của bạn — một H1 mang tên bạn, một dòng tóm tắt trong blockquote, rồi đến các mục liên kết. Nó không phải là yếu tố xếp hạng và không engine nào bắt buộc phải đọc, nhưng xuất bản nó rất rẻ và đó là cách bạn kiểm soát câu chữ mà trợ lý dùng để mô tả bạn. Công cụ này xác thực cấu trúc và tạo một tệp khởi đầu từ chính sitemap của bạn.
Câu hỏi thường gặp
Chặn GPTBot có loại tôi khỏi ChatGPT không?
Không — và đây là hiểu lầm phổ biến nhất. GPTBot chỉ phục vụ việc huấn luyện mô hình. Câu trả lời trực tiếp của ChatGPT dùng OAI-SearchBot (chỉ mục tìm kiếm) và ChatGPT-User (khi ai đó mở liên kết của bạn trong một cuộc trò chuyện). Bạn có thể chặn GPTBot mà vẫn được ChatGPT trích dẫn, miễn là hai con kia vẫn được phép.
Google-Extended có ảnh hưởng đến thứ hạng Google Search của tôi không?
Không. Google-Extended chỉ quyết định nội dung của bạn có được dùng cho việc huấn luyện và làm nền tảng dẫn chứng của Gemini hay không. Việc crawl và xếp hạng Search thông thường do Googlebot điều khiển, đó là một token riêng biệt. Chặn Google-Extended không loại bạn khỏi Google Search.
AI crawler có thực sự tuân thủ robots.txt không?
Những con có tên từ các nhà vận hành lớn đều công bố token của mình và có tài liệu ghi rõ là chúng tuân thủ. Tuy nhiên robots.txt là tự nguyện — đó là một lời đề nghị, không phải bức tường. Những crawler phớt lờ nó, hoặc không khai báo danh tính, cần đến quy tắc firewall hay WAF thay thế.
Vì sao trang của tôi bị điểm thấp dù không có gì bị chặn?
Quyền truy cập mới chỉ là một nửa. AI crawler không chạy JavaScript, nên nếu văn bản của bạn chỉ xuất hiện sau khi JS chạy, chúng sẽ thấy một trang trống. Điểm số cũng thưởng cho văn bản render phía máy chủ, dữ liệu có cấu trúc JSON-LD, một H1 duy nhất rõ ràng, cùng tiêu đề và mô tả.
llms.txt có bắt buộc không?
Không. Đó là một đề xuất, không phải tiêu chuẩn mà engine nào bắt buộc thi hành, và chưa engine lớn nào cam kết sẽ đọc nó. Xuất bản chỉ tốn một tệp và đó là nơi duy nhất bạn được viết phần tóm tắt mà một trợ lý có thể dùng lại nguyên văn, nên rủi ro rất nhỏ.