AI Search / GEO
Pemeriksa AI Crawler & llms.txt
Lihat AI crawler mana yang bisa membaca halaman Anda, dan alasannya. Kebanyakan situs memblokir mesin AI yang justru mengutip mereka, sementara yang melatih model dari konten mereka dibiarkan terbuka lebar — alat ini menemukan hal itu.
Memeriksa halaman yang Anda masukkan, plus robots.txt, llms.txt dan llms-full.txt dari origin tersebut.
Apa yang diperiksa alat ini
Pencarian tidak lagi hanya Google. ChatGPT, Claude, Perplexity, Gemini dan Copilot menjawab pertanyaan dengan mengambil halaman, dan masing-masing memakai crawler berbeda dengan nama tersendiri. Satu baris di robots.txt menentukan apakah Anda ada di dalam jawaban itu.
Empat jenis AI crawler (dan kenapa bedanya penting)
Memblokir bukan satu keputusan tunggal. Menyamaratakan semua bot AI adalah penyebab kesalahan paling umum di web saat ini: situs memblokir crawler yang seharusnya mengutip mereka dan mengirim trafik balik, sementara crawler yang diam-diam melatih model dari konten mereka tetap diizinkan.
Crawler pelatihan
Mereka menambahkan halaman Anda ke korpus pelatihan model. Memblokirnya melindungi konten Anda dan tidak mengorbankan trafik sama sekali. Contoh: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.
Crawler pencarian AI
Mereka membangun indeks yang dikutip mesin jawaban AI. Memblokirnya menghapus Anda dari jawaban tersebut — inilah yang benar-benar mengorbankan trafik. Contoh: OAI-SearchBot, PerplexityBot, Applebot, DuckAssistBot.
Pengambilan atas permintaan pengguna
Ada orang sungguhan yang bertanya kepada asisten tentang halaman Anda, lalu asisten itu pergi membacanya. Memblokir ini berarti asisten memberi tahu pengunjung Anda sendiri bahwa tautan Anda tidak bisa dibuka. Contoh: ChatGPT-User, Claude-User, Perplexity-User.
Crawler dataset
Korpus crawl publik atau komersial yang kemudian diserap banyak model. Contoh: CCBot (Common Crawl), Diffbot, AI2Bot, Webzio-Extended.
Apa itu llms.txt?
llms.txt adalah standar yang diusulkan (llmstxt.org): berkas Markdown di root domain Anda yang memberi asisten AI peta situs yang bersih dan terkurasi — sebuah H1 berisi nama Anda, ringkasan satu baris di dalam blockquote, lalu bagian-bagian berisi tautan. Ini bukan faktor peringkat dan tidak ada mesin yang wajib membacanya, tetapi murah untuk diterbitkan dan inilah cara Anda mengendalikan kata-kata yang dipakai asisten untuk mendeskripsikan Anda. Alat ini memvalidasi strukturnya dan membuat berkas awal dari sitemap Anda sendiri.
Pertanyaan yang sering diajukan
Apakah memblokir GPTBot menghapus saya dari ChatGPT?
Tidak — dan ini kesalahpahaman yang paling umum. GPTBot hanya memasok pelatihan model. Jawaban langsung ChatGPT memakai OAI-SearchBot (indeks pencarian) dan ChatGPT-User (saat seseorang membuka tautan Anda di dalam chat). Anda bisa memblokir GPTBot dan tetap dikutip oleh ChatGPT, selama keduanya tetap diizinkan.
Apakah Google-Extended memengaruhi peringkat saya di Google Search?
Tidak. Google-Extended hanya mengatur apakah konten Anda dipakai untuk pelatihan dan grounding Gemini. Perayapan dan peringkat Search biasa diatur oleh Googlebot, yang merupakan token terpisah. Memblokir Google-Extended tidak menghapus Anda dari Google Search.
Apakah AI crawler benar-benar menuruti robots.txt?
Yang bernama resmi dari operator besar mempublikasikan token mereka dan terdokumentasi menuruti aturan itu. Namun robots.txt bersifat sukarela — ia sebuah permintaan, bukan tembok. Crawler yang mengabaikannya, atau yang tidak mengidentifikasi diri, butuh aturan firewall atau WAF.
Kenapa skor halaman saya rendah padahal tidak ada yang diblokir?
Akses hanya separuh ceritanya. AI crawler tidak menjalankan JavaScript, jadi kalau teks Anda baru muncul setelah JS berjalan, mereka melihat halaman kosong. Skor juga menghargai teks yang dirender server, data terstruktur JSON-LD, satu H1 yang jelas, serta title plus description.
Apakah llms.txt wajib?
Tidak. Itu sebuah usulan, bukan standar yang ditegakkan mesin mana pun, dan belum ada mesin besar yang berkomitmen membacanya. Biayanya hanya satu berkas untuk diterbitkan, dan itu satu-satunya tempat Anda menulis ringkasan yang mungkin dipakai ulang asisten kata per kata, jadi risikonya kecil.