テクニカル SEO
Robots.txt 差分＆デプロイリスクチェッカー
本番運用中の robots.txt と、これからデプロイするバージョンを貼り付けてください。選択したクローラーとパスに対して、実際の最長一致／ワイルドカード／$ ルールエンジンで両方のファイルを実行し、何が変わったのか、そして安全に出荷できるかを正確に示します。
すべてブラウザ内で処理されます。匿名の利用回数以外、貼り付けた内容はどこにも送信されません。
新しいファイル単体のみを監査したい場合は空欄のままにしてください（前後比較なし）。
これからデプロイするバージョンです。
ルールエンジンはクローラーごとに実行されます — 実際のクローラーは専用グループとワイルドカードグループを決して統合しません。
ドメインを除いた、パスと任意のクエリ文字列のみ。ホームページ、主要テンプレート、心配なパスを含めてください。
仕組みと、なぜ単純なテキスト差分では不十分なのか
単純な行単位のテキスト差分では、クローラーにとって実際に何が変わったのかは分かりません。グループの並び替え、Disallow を打ち消す Allow の追加、より長く具体的なルールが短いルールを上書きすること — これらはすべて、差分上では劇的に見えなくても挙動を変えてしまいます。本ツールは実際のクローラーアルゴリズム（最も具体的な User-agent グループが優先、次に最長一致の Allow/Disallow ルールが優先、同点の場合は Allow が優先）を両方のファイルに対して再実行し、行ではなく結果を比較します。
重要度は変更内容によって決まります。ホームページの新規ブロックやサイト全体の Disallow は「重大」、CSS/JS ファイルの新規ブロックや、admin・checkout・account・.env のような機密性の高そうなパスの新規開放は「警告」、それ以外の新規ブロック／許可は「情報」として、ご自身で確認できるようにしています。
また、指定したパスに関係なく構造も確認します：新しいファイルが包括的な "Disallow: /" を導入していないか、Sitemap ディレクティブがひっそり削除されていないか、どのクローラー専用グループが追加・削除されたかです。
Google と Bing は Crawl-delay を完全に無視すること、そして "Googlebot" のような専用グループに一致したクローラーには "User-agent: *" 以下のルールは決して適用されない（統合されない）ことに注意してください。