AI Search / GEO
AI 爬虫与 llms.txt 检查器
看看哪些 AI 爬虫能读取你的页面，以及原因。多数网站屏蔽了会引用自己的 AI 引擎，却对拿自己内容做训练的爬虫大门敞开——这个工具就是来揪出这一点。
检查你输入的页面，以及该源站的 robots.txt、llms.txt 和 llms-full.txt。
这个工具检查什么
搜索早已不只是 Google。ChatGPT、Claude、Perplexity、Gemini 和 Copilot 都是通过抓取页面来回答问题的，而它们各自使用名称不同、彼此独立的爬虫。robots.txt 里的一行，就决定了你是否出现在那些答案里。
AI 爬虫的四种类型（以及这个区别为什么重要）
屏蔽不是一个笼统的决定。把所有 AI 机器人一视同仁，正是当下网络上最常见错误的根源：网站屏蔽了本来会引用它们、并把流量带回来的爬虫，而那些悄悄拿它们内容做训练的爬虫却依旧畅通无阻。
训练型爬虫
它们把你的页面加入模型的训练语料库。屏蔽它们能保护你的内容，而且不会损失任何流量。例如：GPTBot、ClaudeBot、Google-Extended、Applebot-Extended。
AI 搜索爬虫
它们构建 AI 答案引擎用来引用的索引。屏蔽它们会让你从那些答案中消失——这才是真正会损失流量的那一类。例如：OAI-SearchBot、PerplexityBot、Applebot、DuckAssistBot。
用户触发的抓取
真实用户向助手问起你的页面，助手就去读它。屏蔽这类爬虫，意味着助手会对你自己的访客说打不开你的链接。例如：ChatGPT-User、Claude-User、Perplexity-User。
数据集爬虫
公开或商业的抓取语料库，许多模型日后会吸收它们。例如：CCBot（Common Crawl）、Diffbot、AI2Bot、Webzio-Extended。
llms.txt 是什么？
llms.txt 是一项提案标准（llmstxt.org）：放在你域名根目录的一个 Markdown 文件，为 AI 助手提供一份干净、经过整理的网站地图——一个写着你名称的 H1、一段放在引用块里的一行摘要，然后是若干链接分区。它不是排名因素，也没有任何引擎有义务读取它，但发布成本极低，而且这是你控制助手描述你时所用措辞的方式。本工具会校验其结构，并根据你自己的 sitemap 生成一份初始文件。
常见问题
屏蔽 GPTBot 会让我从 ChatGPT 中消失吗？
不会——这是最常见的误解。GPTBot 只服务于模型训练。ChatGPT 的实时回答用的是 OAI-SearchBot（搜索索引）和 ChatGPT-User（当有人在对话里打开你的链接时）。只要这两个保持放行，你就可以屏蔽 GPTBot 而依然被 ChatGPT 引用。
Google-Extended 会影响我的 Google Search 排名吗？
不会。Google-Extended 只控制你的内容是否用于 Gemini 的训练和事实依据。常规的 Search 抓取和排名由 Googlebot 管理，那是一个独立的令牌。屏蔽 Google-Extended 不会让你从 Google Search 中消失。
AI 爬虫真的会遵守 robots.txt 吗？
主流运营商那些具名的爬虫都公开了自己的令牌，并且有文档说明会遵守。不过 robots.txt 是自愿性的——它是一个请求，不是一堵墙。对于无视它、或者不表明身份的爬虫，就需要防火墙或 WAF 规则。
明明什么都没屏蔽，为什么我的页面得分还是很低？
访问权限只是其中一半。AI 爬虫不执行 JavaScript，所以如果你的文字要等 JS 跑完才出现，它们看到的就是一个空页面。评分还会奖励服务器端渲染的文字、JSON-LD 结构化数据、一个清晰的 H1，以及 title 加 description。
llms.txt 是必需的吗？
不是。它只是一项提案，不是任何引擎强制执行的标准，也没有哪个主流引擎承诺会读取它。发布它只需一个文件的成本，而且这是唯一一个由你来撰写、助手可能一字不差复用的摘要的地方，所以坏处很小。