Technical SEO
Robots.txt Diff at Deploy-Risk Checker
I-paste ang kasalukuyang live na robots.txt at ang bersyon na ide-deploy mo. Pinapatakbo nito ang dalawang file sa tunay na longest-match/wildcard/$ na rule engine para sa mga crawler at path na pinili mo, saka eksaktong itinuturo kung ano ang nagbago — at kung ligtas bang i-ship.
Tumatakbo nang buo sa iyong browser. Walang ipapadala kahit saan ang anumang i-paste mo rito maliban sa anonymized na bilang ng paggamit.
Iwanang blangko kung gusto mo lang ma-audit ang bagong file mag-isa, walang before/after na paghahambing.
Ang bersyon na ide-deploy mo.
Bawat pagpapatakbo ng rule engine ay per crawler — hindi kailanman pinagsasama ng totoong crawler ang isang specific group sa wildcard group.
Path lang at opsyonal na query string, walang domain. Isama ang homepage, mahahalagang template, at anumang ikinababahala mo.
Paano ito gumagana, at bakit hindi sapat ang plain text diff
Ang simpleng line-by-line na text diff ay hindi masasabi sa iyo kung ano talaga ang nagbago para sa crawler: muling pag-aayos ng grupo, pagdaragdag ng Allow na nagpapawalang-bisa sa Disallow, o mas mahaba at mas specific na rule na nag-o-override sa mas maikling rule — lahat ito ay nagbabago ng behavior nang hindi kinakailangang mukhang dramatic sa diff. Muling pinapatakbo ng tool na ito ang tunay na algorithm ng crawler — ang pinaka-specific na User-agent group ang mananalo muna, pagkatapos ang pinakamahabang matching na Allow/Disallow rule ang mananalo, may panalo ang Allow kapag pantay — sa parehong file at inihahambing ang mga resulta, hindi ang mga linya.
Ang antas ng bigat ay batay sa nagbago: ang bagong pagharang sa homepage o site-wide na Disallow ay Kritikal, ang bagong na-block na CSS/JS file o bagong na-expose na path na mukhang sensitibo (admin, checkout, account, .env) ay Babala, at ang iba pang bagong na-block o na-allow na path ay Impormasyon para masuri mo ito mismo.
Sinusuri rin nito ang istruktura nang hiwalay sa listahan ng mga path na inilagay mo: kung nagdaragdag ba ang bagong file ng blanket na "Disallow: /", kung tahimik bang inalis ang Sitemap directive, at kung aling crawler-specific na group ang idinagdag o inalis.
Tandaan na buong binabalewala ng Google at Bing ang Crawl-delay, at sa sandaling tumugma ang isang crawler sa specific na group tulad ng "Googlebot", hindi na kailanman ilalapat dito ang mga rule sa ilalim ng "User-agent: *" — hindi ito pinagsasama.