Technical SEO
Robots.txt Rule Tester
I-paste ang robots.txt file, pumili ng crawler, at subukan ang anumang path. Tingnan nang eksakto kung aling rule ang nananalo, at mahuli ang mga pagkakamaling tahimik na nagba-block sa search engine o nag-aaksaya ng crawl budget.
Tumatakbo nang buo sa iyong browser. Walang ipinapasa saanman ang na-paste mo maliban sa anonymized na bilang ng paggamit.
I-paste ang eksaktong nilalaman ng iyong robots.txt file.
Path lamang at opsyonal na query string, walang domain, hal. /blog/post-1?ref=x.
Paano gumagana ito, at paano ayusin ang mga karaniwang pagkakamali
Pumipili ang totoong mga crawler ng iisang pinaka-espesipikong User-agent group na tumutugma sa kanilang pangalan (nananalo ang eksaktong tugma o pinakamahabang prefix laban sa "*"), pagkatapos, sa loob lang ng grupong iyon, ilalapat ang Allow o Disallow rule na may pinakamahabang tugmang path pattern, may Allow na nananalo sa tie. Pinapatakbo ng tool na ito ang eksaktong algoritmong iyon — hindi lang ito naghahanap ng unang Disallow na makikita.
Ang "*" sa loob ng isang rule ay tumutugma sa anumang sunod-sunod na karakter, at ang panghuling "$" ay nag-a-anchor sa rule hanggang sa dulo ng path. Ang Disallow: /*.pdf$ ay nagba-block ng /file.pdf pero hindi ng /file.pdf?ref=1 — isang karaniwang dahilan kung bakit hindi sinasadyang nagagawang ma-crawl ang mga PDF.
Ang walang laman na "Disallow:" na linya ay nangangahulugang walang anumang paghihigpit — hindi ito nagba-block ng kahit ano. At kapag nakatugma na ang isang crawler sa isang espesipikong grupo (tulad ng "Googlebot"), ganap na hindi papansinin ang mga rule sa ilalim ng "User-agent: *" para sa crawler na iyon; hindi kailanman pinagsasama ang dalawa.
Mga karaniwang pagkakamaling nabababantayan ng tool na ito: naiwang Disallow: / mula sa staging site (nagba-block ng lahat), mga rule na inilagay bago ang anumang User-agent na linya (tahimik na hindi pinapansin), Crawl-delay (hindi pinapansin ng Google at Bing), at mga Sitemap URL na hindi absolute.