AI Search / GEO
AI 爬蟲同 llms.txt 檢查器
睇吓邊啲 AI 爬蟲讀得到你個頁面，同埋點解。大部分網站封咗會引用自己嘅 AI 引擎，反而對攞自己內容去訓練嘅爬蟲大開中門——呢個工具就係揪出呢件事。
檢查你輸入嘅頁面，加埋嗰個來源站嘅 robots.txt、llms.txt 同 llms-full.txt。
呢個工具檢查啲乜
搜尋已經唔淨係得 Google。ChatGPT、Claude、Perplexity、Gemini 同 Copilot 都係靠抓取頁面嚟答問題，而佢哋各自用唔同名、獨立嘅爬蟲。robots.txt 入面一行字，就決定咗你會唔會出現喺嗰啲答案入面。
AI 爬蟲嘅四種類型（同埋點解呢個分別好緊要）
封鎖唔係一個籠統嘅決定。將所有 AI 機械人一視同仁，正正就係而家網上最常見錯誤嘅源頭：網站封咗本來會引用佢哋、幫佢哋帶流量返嚟嘅爬蟲，而嗰啲靜靜雞攞佢哋內容去訓練嘅爬蟲就仍然暢通無阻。
訓練型爬蟲
佢哋將你嘅頁面加入模型嘅訓練語料庫。封鎖佢哋可以保護你嘅內容，而且唔會損失任何流量。例如：GPTBot、ClaudeBot、Google-Extended、Applebot-Extended。
AI 搜尋爬蟲
佢哋建立 AI 答案引擎用嚟引用嘅索引。封鎖佢哋會令你喺嗰啲答案入面消失——呢類先至係真係會蝕流量嘅。例如：OAI-SearchBot、PerplexityBot、Applebot、DuckAssistBot。
用戶觸發嘅抓取
有真人問助手關於你個頁面嘅嘢，助手就去讀佢。封鎖呢類，即係助手會同你自己嘅訪客講開唔到你條連結。例如：ChatGPT-User、Claude-User、Perplexity-User。
資料集爬蟲
公開或者商業嘅抓取語料庫，好多模型之後會吸收佢哋。例如：CCBot（Common Crawl）、Diffbot、AI2Bot、Webzio-Extended。
llms.txt 係乜嚟㗎？
llms.txt 係一個提案標準（llmstxt.org）：放喺你域名根目錄嘅一個 Markdown 檔案，畀 AI 助手一份乾淨、經過整理嘅網站地圖——一個寫住你名嘅 H1、一段擺喺引言區塊入面嘅一行摘要，跟住就係一節節嘅連結。佢唔係排名因素，亦都冇引擎有責任要讀佢，但係發佈成本好低，而且呢個就係你控制助手用咩字眼去形容你嘅方法。呢個工具會驗證佢嘅結構，仲會用你自己嘅 sitemap 生成一份起始檔案。
常見問題
封鎖 GPTBot 會唔會令我喺 ChatGPT 入面消失？
唔會——而呢個係最常見嘅誤解。GPTBot 淨係供模型訓練用。ChatGPT 嘅即時答案用嘅係 OAI-SearchBot（搜尋索引）同 ChatGPT-User（當有人喺對話入面打開你條連結嗰陣）。只要嗰兩個保持放行，你封咗 GPTBot 一樣可以畀 ChatGPT 引用。
Google-Extended 會唔會影響我喺 Google Search 嘅排名？
唔會。Google-Extended 淨係控制你嘅內容會唔會用嚟做 Gemini 嘅訓練同事實依據。一般 Search 嘅抓取同排名由 Googlebot 話事，嗰個係獨立嘅令牌。封鎖 Google-Extended 唔會令你喺 Google Search 入面消失。
AI 爬蟲真係會遵守 robots.txt 咩？
大營運商嗰啲有名有姓嘅爬蟲都公開咗自己嘅令牌，亦有文件講明會遵守。不過 robots.txt 係自願性質——佢係一個請求，唔係一堵牆。至於嗰啲當佢冇到、或者唔表明身份嘅爬蟲，就要用防火牆或者 WAF 規則。
明明乜都冇封，點解我個頁面分數仲係咁低？
存取權淨係佔一半。AI 爬蟲唔會行 JavaScript，所以如果你啲文字要等 JS 行完先出現，佢哋見到嘅就係一個空頁面。分數仲會獎勵伺服器端渲染嘅文字、JSON-LD 結構化資料、一個清晰嘅 H1，以及 title 加 description。
llms.txt 係咪必須？
唔係。佢係一個提案，唔係任何引擎強制執行嘅標準，亦都未有主流引擎承諾會讀佢。發佈佢淨係一個檔案嘅成本，而且呢度係唯一一個由你落筆、助手可能一字不漏照用嘅摘要嘅地方，所以壞處好細。