Техническое SEO
Тестер правил Robots.txt
Вставьте файл robots.txt, выберите краулера и проверьте любой путь. Увидите точно, какое правило побеждает, и найдёте ошибки, которые незаметно блокируют поисковики или тратят впустую краулинговый бюджет.
Полностью работает в вашем браузере. Ничего из вставленного не отправляется никуда, кроме анонимного счётчика использования.
Вставьте точное содержимое вашего файла robots.txt.
Только путь и необязательная строка запроса, без домена, напр. /blog/post-1?ref=x.
Как это работает и как исправить типичные ошибки
Настоящие краулеры выбирают единственную наиболее специфичную группу User-agent, соответствующую их имени (точное совпадение или самый длинный префикс побеждает "*"), а затем только внутри этой группы применяют правило Allow или Disallow с самым длинным совпадающим шаблоном пути, при этом при равенче побеждает Allow. Этот инструмент выполняет именно этот алгоритм — а не просто ищет первый попавшийся Disallow.
"*" внутри правила соответствует любой последовательности символов, а завершающий "$" закрепляет правило на конце пути. Disallow: /*.pdf$ блокирует /file.pdf, но не /file.pdf?ref=1 — частая причина, по которой PDF-файлы неожиданно остаются доступными для сканирования.
Пустая строка "Disallow:" означает полное отсутствие ограничений — она ничего не блокирует. А как только краулер совпадает с конкретной группой (например, "Googlebot"), правила из "User-agent: *" полностью игнорируются для этого краулера; они никогда не объединяются.
Типичные ошибки, которые отмечает этот инструмент: оставшийся с тестового сайта Disallow: / (блокирует всё), правила, размещённые до любой строки User-agent (тихо игнорируются), Crawl-delay (игнорируется Google и Bing), и URL-адреса Sitemap, не являющиеся абсолютными.