Техническое SEO
Проверка различий Robots.txt и риска деплоя
Вставьте актуальный рабочий robots.txt и версию, которую собираетесь задеплоить. Инструмент прогоняет оба файла через настоящий движок правил (самое длинное совпадение/wildcard/$) для выбранных вами краулеров и путей, а затем точно показывает, что изменилось — и можно ли безопасно выкатывать.
Всё работает полностью в вашем браузере. Ничто из вставленного здесь никуда не отправляется, кроме анонимного счётчика использования.
Оставьте пустым, если хотите просто проверить новый файл сам по себе, без сравнения до/после.
Версия, которую вы собираетесь задеплоить.
Движок правил запускается отдельно для каждого краулера — реальные краулеры никогда не объединяют специфичную группу с группой-wildcard.
Только путь и опциональная строка запроса, без домена. Включите главную страницу, ключевые шаблоны и всё, что вас беспокоит.
Как это работает и почему обычного текстового diff недостаточно
Обычный построчный текстовый diff не может сказать вам, что реально изменилось для краулера: перестановка групп, добавление Allow, отменяющего Disallow, или более длинное и специфичное правило, перекрывающее более короткое — всё это меняет поведение, даже если в diff это не выглядит драматично. Этот инструмент заново прогоняет настоящий алгоритм краулера — сначала побеждает самая специфичная группа User-agent, затем самое длинное совпадающее правило Allow/Disallow, а при равенстве побеждает Allow — на обоих файлах и сравнивает результаты, а не строки.
Серьёзность зависит от того, что изменилось: новая блокировка главной страницы или Disallow для всего сайта — это Критично; новая блокировка файла CSS/JS или новое открытие пути, который выглядит чувствительным (admin, checkout, account, .env) — это Предупреждение; любой другой новый заблокированный или разрешённый путь — это Информация, чтобы вы могли проверить его самостоятельно.
Инструмент также проверяет структуру независимо от списка путей: добавляет ли новый файл сплошной "Disallow: /", была ли тихо удалена директива Sitemap, и какие специфичные для краулера группы были добавлены или удалены.
Помните, что Google и Bing полностью игнорируют Crawl-delay, а как только краулер совпадает со специфичной группой вроде "Googlebot", правила под "User-agent: *" к нему уже никогда не применяются — они не объединяются.