Обход

Аудитор Robots.txt и карты сайта

Вставьте домен, чтобы проверить robots.txt и обойти связанные карты сайта (варианты root/blog/blacklist/forum). Показывает заблокированные URL, «осиротевшие» карты сайта и некорректные записи. Работает только на стороне клиента — может ограничиваться CORS.

Аудит

URL сайта (например, https://example.com)

Что мы проверяем

• Доступность robots.txt и правила Disallow/Allow.
• Обнаружение карты сайта (robots.txt + типичные пути, такие как /sitemap.xml, /blog/sitemap.xml).
• Количество URL в каждой карте сайта и некорректные записи.
• Отмечает заблокированные URL, которые всё же присутствуют в картах сайта.