크롤

Robots.txt & Sitemap 감사 도구

도메인을 붙여넣어 robots.txt를 검사하고 연결된 sitemap(root/blog/blacklist/forum 변형)을 크롤링하세요. 차단된 URL, 고아 sitemap, 형식이 잘못된 항목을 보여줍니다. 클라이언트 측에서만 작동하며—CORS로 인해 제한될 수 있습니다.

감사

사이트 URL (예: https://example.com)

무엇을 확인하나요

• robots.txt의 가용성과 Disallow/Allow 규칙.
• Sitemap 발견 (robots.txt + /sitemap.xml, /blog/sitemap.xml 같은 일반적인 경로).
• sitemap별 URL 수와 형식이 잘못된 항목.
• sitemap에도 나타나는 차단된 URL을 표시합니다.