AI Search / GEO
AI クローラー & llms.txt チェッカー
どの AI クローラーがあなたのページを読めるのか、そしてその理由を確認しましょう。多くのサイトは自分を引用してくれる AI エンジンをブロックし、学習に使うクローラーは野放しにしています — このツールはそれを見つけ出します。
入力したページに加えて、そのオリジンの robots.txt、llms.txt、llms-full.txt もチェックします。
このツールがチェックする内容
検索はもう Google だけではありません。ChatGPT、Claude、Perplexity、Gemini、Copilot はページを取得して質問に答えており、それぞれが別の名前を持つ異なるクローラーを使っています。robots.txt のたった 1 行が、あなたがその回答に含まれるかどうかを決めています。
AI クローラーの 4 種類（違いが重要な理由）
ブロックは一つの決定ではありません。すべての AI ボットを同じように扱うことが、いま web で最もよくある間違いを生んでいます。引用してトラフィックを返してくれるはずのクローラーをブロックする一方で、コンテンツを黙って学習に使うクローラーは許可されたままなのです。
学習用クローラー
あなたのページをモデルの学習コーパスに追加します。ブロックすればコンテンツを守れ、トラフィックの損失はありません。例: GPTBot、ClaudeBot、Google-Extended、Applebot-Extended。
AI 検索クローラー
AI 回答エンジンが引用元とするインデックスを構築します。ブロックするとその回答から除外されます — 実際のトラフィックを失うのはこれです。例: OAI-SearchBot、PerplexityBot、Applebot、DuckAssistBot。
ユーザー起点の取得
実在の人がアシスタントにあなたのページについて尋ね、アシスタントが読みに行きます。これをブロックすると、アシスタントはあなた自身の訪問者に対してリンクを開けないと答えます。例: ChatGPT-User、Claude-User、Perplexity-User。
データセット用クローラー
多くのモデルが後から取り込む、公開または商用のクロールコーパスです。例: CCBot（Common Crawl）、Diffbot、AI2Bot、Webzio-Extended。
llms.txt とは?
llms.txt は提案段階の標準（llmstxt.org）です。ドメインのルートに置く Markdown ファイルで、AI アシスタントにサイトの整理された地図を渡します — 名前を書いた H1、blockquote に 1 行の要約、続いてリンクのセクション。ランキング要因ではなく、どのエンジンにも読む義務はありませんが、公開コストは低く、アシスタントがあなたを説明する際の文言をコントロールできる手段です。このツールは構造を検証し、あなた自身の sitemap からスターターファイルを生成します。
よくある質問
GPTBot をブロックすると ChatGPT から消えますか?
いいえ — これが最もよくある誤解です。GPTBot はモデルの学習にしか使われません。ChatGPT のライブ回答は OAI-SearchBot（検索インデックス）と ChatGPT-User（チャットで誰かがあなたのリンクを開いたとき）を使います。この 2 つを許可したままなら、GPTBot をブロックしても ChatGPT に引用されます。
Google-Extended は Google Search の順位に影響しますか?
いいえ。Google-Extended が制御するのは、あなたのコンテンツが Gemini の学習とグラウンディングに使われるかどうかだけです。通常の Search のクロールと順位付けは Googlebot が担っており、これは別のトークンです。Google-Extended をブロックしても Google Search から消えることはありません。
AI クローラーは本当に robots.txt に従うのですか?
大手事業者の名前付きクローラーはトークンを公開し、従うと文書化されています。ただし robots.txt は任意です — 壁ではなくお願いにすぎません。無視するクローラーや、自らを名乗らないクローラーには、代わりにファイアウォールや WAF のルールが必要です。
何もブロックしていないのに、なぜスコアが低いのですか?
アクセスは半分にすぎません。AI クローラーは JavaScript を実行しないため、テキストが JS の実行後にしか現れない場合、ほぼ空のページに見えます。スコアはサーバーレンダリングされたテキスト、JSON-LD 構造化データ、明確な単一の H1、そして title と description も評価します。
llms.txt は必須ですか?
いいえ。これは提案であり、どのエンジンも強制しない標準で、主要なエンジンで読むと明言したところはありません。公開コストはファイル 1 つ分で、アシスタントがそのまま再利用するかもしれない要約を自分の言葉で書ける唯一の場所ですから、デメリットはわずかです。