Crawl

Robots.txt & Sitemap Auditor

I-paste ang isang domain para suriin ang robots.txt at i-crawl ang mga naka-link na sitemap (mga variant na root/blog/blacklist/forum). Ipinapakita ang mga naka-block na URL, orphaned na sitemap, at maling entry. Client-side lang—maaaring limitado dahil sa CORS.

Audit

URL ng Site (hal., https://example.com)

Ano ang sinusuri namin

• Availability ng robots.txt at mga panuntunang Disallow/Allow.
• Pagtuklas ng sitemap (robots.txt + mga karaniwang path tulad ng /sitemap.xml, /blog/sitemap.xml).
• Bilang ng mga URL kada sitemap at mga maling entry.
• Minamarkahan ang mga naka-block na URL na lumalabas din sa mga sitemap.