AI Search / GEO
AI Crawler at llms.txt Checker
Tingnan kung aling mga AI crawler ang makakabasa ng iyong pahina, at bakit. Karamihan sa mga site ay hinaharangan ang mga AI engine na bumabanggit sa kanila habang bukas na bukas ang mga nagsasanay sa nilalaman nila — ito ang tumutuklas niyan.
Sinusuri ang pahinang ilalagay mo, kasama ang robots.txt, llms.txt at llms-full.txt ng origin na iyon.
Ano ang sinusuri ng tool na ito
Hindi na lang Google ang search. Ang ChatGPT, Claude, Perplexity, Gemini at Copilot ay sumasagot ng tanong sa pamamagitan ng pagkuha ng mga pahina, at bawat isa sa kanila ay gumagamit ng magkakaibang crawler na magkakahiwalay ang pangalan. Isang linya lang sa robots.txt ang nagpapasya kung kasama ka sa mga sagot na iyon.
Ang apat na uri ng AI crawler (at bakit mahalaga ang pagkakaiba)
Hindi iisang desisyon ang pagharang. Ang pagtrato sa lahat ng AI bot nang pare-pareho ang sanhi ng pinakakaraniwang pagkakamali sa web ngayon: hinaharangan ng mga site ang mga crawler na sana ay bumanggit sa kanila at nagpadala ng trapiko pabalik, samantalang pinapayagan pa rin ang mga crawler na tahimik na nagsasanay sa nilalaman nila.
Mga training crawler
Idinaragdag nila ang iyong mga pahina sa training corpus ng isang modelo. Ang pagharang sa kanila ay nagpoprotekta sa iyong nilalaman at walang trapikong nawawala sa iyo. Halimbawa: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.
Mga AI search crawler
Binubuo nila ang index na pinagbabanggitan ng isang AI answer engine. Ang pagharang sa kanila ay nag-aalis sa iyo sa mga sagot na iyon — ito ang may tunay na halaga sa trapiko. Halimbawa: OAI-SearchBot, PerplexityBot, Applebot, DuckAssistBot.
Mga user-triggered na fetch
May tunay na taong nagtanong sa isang assistant tungkol sa iyong pahina kaya pinuntahan itong basahin. Ang pagharang dito ay nangangahulugang sasabihin ng assistant sa sarili mong bisita na hindi nito mabuksan ang iyong link. Halimbawa: ChatGPT-User, Claude-User, Perplexity-User.
Mga dataset crawler
Pampubliko o komersyal na crawl corpora na kinakain ng maraming modelo sa kalaunan. Halimbawa: CCBot (Common Crawl), Diffbot, AI2Bot, Webzio-Extended.
Ano ang llms.txt?
Ang llms.txt ay isang iminungkahing pamantayan (llmstxt.org): isang Markdown file sa root ng iyong domain na nagbibigay sa isang AI assistant ng malinis at kurado na mapa ng iyong site — isang H1 na may pangalan mo, isang linyang buod sa loob ng blockquote, saka mga seksyon ng link. Hindi ito ranking factor at walang engine na obligadong basahin ito, pero mura itong i-publish at ito ang paraan mo para kontrolin ang pananalitang gagamitin ng isang assistant para ilarawan ka. Bini-validate ng tool na ito ang istruktura at gumagawa ng panimulang file mula sa sarili mong sitemap.
Mga madalas itanong
Aalisin ba ako sa ChatGPT ng pagharang sa GPTBot?
Hindi — at ito ang pinakakaraniwang maling pagkaunawa. Ang GPTBot ay pumapakain lang sa pagsasanay ng modelo. Ang live na sagot ng ChatGPT ay gumagamit ng OAI-SearchBot (ang search index) at ChatGPT-User (kapag may nagbukas ng link mo sa isang chat). Puwede mong harangan ang GPTBot at mababanggit ka pa rin ng ChatGPT, basta nananatiling pinapayagan ang dalawang iyon.
Nakakaapekto ba ang Google-Extended sa aking ranking sa Google Search?
Hindi. Kinokontrol lang ng Google-Extended kung ginagamit ang nilalaman mo para sa pagsasanay at grounding ng Gemini. Ang normal na pag-crawl at ranking sa Search ay pinamamahalaan ng Googlebot, na hiwalay na token. Ang pagharang sa Google-Extended ay hindi nag-aalis sa iyo sa Google Search.
Sinusunod ba talaga ng mga AI crawler ang robots.txt?
Ang mga pinangalanang crawler mula sa malalaking operator ay naglalathala ng kanilang token at dokumentado bilang sumusunod dito. Boluntaryo lang ang robots.txt, gayunman — isa itong pakiusap, hindi pader. Ang mga crawler na hindi ito pinapansin, o hindi nagpapakilala, ay kailangan ng firewall o WAF rule sa halip.
Bakit mababa ang score ng pahina ko kahit walang hinaharangan?
Kalahati lang ang access nito. Hindi nagpapatakbo ng JavaScript ang mga AI crawler, kaya kung lalabas lang ang teksto mo pagkatapos tumakbo ang JS, walang laman ang nakikita nila. Ginagantimpalaan din ng score ang teksto na server-rendered, ang JSON-LD structured data, iisang malinaw na H1, at isang title kasama ng description.
Kailangan ba ang llms.txt?
Hindi. Isa itong panukala, hindi pamantayang ipinapatupad ng anumang engine, at wala pang malaking engine na nangakong babasahin ito. Isang file lang ang gastos para i-publish at ito lang ang lugar kung saan ikaw ang sumusulat ng buod na maaaring gamiting muli ng isang assistant nang salita por salita, kaya maliit ang disbentaha.