AI Search / GEO
Проверка AI-краулеров и llms.txt
Посмотрите, какие AI-краулеры могут читать вашу страницу и почему. Большинство сайтов блокируют AI-движки, которые их цитируют, оставляя настежь открытыми тех, кто на них обучается, — этот инструмент находит такое.
Проверяет введённую вами страницу, а также robots.txt, llms.txt и llms-full.txt этого источника.
Что проверяет этот инструмент
Поиск — это уже не только Google. ChatGPT, Claude, Perplexity, Gemini и Copilot отвечают на вопросы, загружая страницы, и каждый из них использует свой отдельно названный краулер. Одна строка в robots.txt решает, попадёте ли вы в эти ответы.
Четыре вида AI-краулеров (и почему разница важна)
Блокировка — это не одно решение. Одинаковое отношение ко всем AI-ботам и порождает самую частую сегодня ошибку в вебе: сайты блокируют краулеров, которые процитировали бы их и вернули трафик, а краулеры, тихо обучающиеся на их контенте, остаются разрешёнными.
Обучающие краулеры
Они добавляют ваши страницы в обучающий корпус модели. Их блокировка защищает ваш контент и не стоит вам трафика. Примеры: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.
Краулеры AI-поиска
Они строят индекс, из которого AI-движок ответов вас цитирует. Их блокировка убирает вас из этих ответов — именно она стоит реального трафика. Примеры: OAI-SearchBot, PerplexityBot, Applebot, DuckAssistBot.
Загрузки по запросу пользователя
Живой человек спросил ассистента о вашей странице, и тот идёт её читать. Блокировка таких запросов означает, что ассистент скажет вашему же посетителю, что не может открыть вашу ссылку. Примеры: ChatGPT-User, Claude-User, Perplexity-User.
Краулеры наборов данных
Публичные или коммерческие корпуса обхода, которые многие модели поглощают позже. Примеры: CCBot (Common Crawl), Diffbot, AI2Bot, Webzio-Extended.
Что такое llms.txt?
llms.txt — это предлагаемый стандарт (llmstxt.org): файл Markdown в корне вашего домена, который даёт AI-ассистенту чистую, отобранную карту вашего сайта — H1 с вашим названием, однострочное резюме в блок-цитате, затем разделы со ссылками. Это не фактор ранжирования, и ни один движок не обязан его читать, но опубликовать его дёшево, и именно так вы контролируете формулировки, которыми ассистент вас описывает. Этот инструмент проверяет структуру и генерирует стартовый файл из вашего собственного sitemap.
Часто задаваемые вопросы
Уберёт ли меня из ChatGPT блокировка GPTBot?
Нет — и это самое частое заблуждение. GPTBot питает только обучение модели. Живые ответы ChatGPT используют OAI-SearchBot (поисковый индекс) и ChatGPT-User (когда кто-то открывает вашу ссылку в чате). Вы можете заблокировать GPTBot и всё равно быть процитированным в ChatGPT, пока эти два остаются разрешёнными.
Влияет ли Google-Extended на моё ранжирование в Google Search?
Нет. Google-Extended управляет лишь тем, используется ли ваш контент для обучения и заземления Gemini. Обычный обход и ранжирование в Search управляются Googlebot, который является отдельным токеном. Блокировка Google-Extended не убирает вас из Google Search.
Действительно ли AI-краулеры соблюдают robots.txt?
Названные краулеры крупных операторов публикуют свои токены, и документировано, что они его соблюдают. Однако robots.txt добровольный — это просьба, а не стена. Против краулеров, которые его игнорируют или не представляются, нужно правило файрвола или WAF.
Почему у моей страницы низкий балл, хотя ничего не заблокировано?
Доступ — это лишь половина дела. AI-краулеры не выполняют JavaScript, поэтому если ваш текст появляется только после запуска JS, они видят пустую страницу. Балл также вознаграждает текст, отрисованный на сервере, структурированные данные JSON-LD, единственный чёткий H1, а также title и description.
Обязателен ли llms.txt?
Нет. Это предложение, а не стандарт, который какой-либо движок принудительно применяет, и ни один крупный движок не обязался его читать. Он стоит одного опубликованного файла и является единственным местом, где вы сами пишете резюме, которое ассистент может дословно переиспользовать, так что минусы невелики.