クロール

Robots.txt & サイトマップ監査ツール

ドメインを貼り付けると、robots.txt を確認し、リンクされたサイトマップ（root/blog/blacklist/forum の各種）をクロールします。ブロックされた URL、孤立したサイトマップ、形式が正しくない項目を表示します。クライアント側のみで動作し、CORS により制限される場合があります。

監査

サイト URL（例: https://example.com）

チェックする項目

• robots.txt の有無と Disallow/Allow ルール。
• サイトマップの検出（robots.txt + /sitemap.xml、/blog/sitemap.xml などの一般的なパス）。
• サイトマップごとの URL 数と形式が正しくない項目。
• ブロックされているのにサイトマップに含まれる URL を検出。