AI Search / GEO

AI 크롤러 & llms.txt 검사기

어떤 AI 크롤러가 내 페이지를 읽을 수 있는지, 그리고 그 이유를 확인하세요. 대부분의 사이트는 자신을 인용해 주는 AI 엔진은 차단하면서, 콘텐츠를 학습에 쓰는 크롤러는 활짝 열어 둡니다 — 이 도구가 바로 그 문제를 찾아냅니다.

입력한 페이지와 함께 해당 오리진의 robots.txt, llms.txt, llms-full.txt를 검사합니다.

이 도구가 검사하는 항목

이제 검색은 Google만이 아닙니다. ChatGPT, Claude, Perplexity, Gemini, Copilot은 페이지를 가져와 질문에 답하며, 각각 이름이 다른 별도의 크롤러를 사용합니다. robots.txt의 한 줄이 여러분이 그 답변에 포함될지를 결정합니다.

AI 크롤러의 네 가지 종류 (그리고 그 차이가 중요한 이유)

차단은 하나의 결정이 아닙니다. 모든 AI 봇을 똑같이 취급하는 것이야말로 지금 웹에서 가장 흔한 실수의 원인입니다. 사이트들은 자신을 인용하고 트래픽을 돌려보낼 크롤러는 차단하면서, 조용히 콘텐츠를 학습에 쓰는 크롤러는 여전히 허용하고 있습니다.

학습용 크롤러

여러분의 페이지를 모델의 학습 코퍼스에 추가합니다. 차단하면 콘텐츠를 보호할 수 있고 트래픽 손실은 없습니다. 예: GPTBot, ClaudeBot, Google-Extended, Applebot-Extended.

AI 검색 크롤러

AI 답변 엔진이 인용하는 색인을 구축합니다. 차단하면 그 답변에서 제외됩니다 — 실제 트래픽을 잃게 되는 것은 바로 이쪽입니다. 예: OAI-SearchBot, PerplexityBot, Applebot, DuckAssistBot.

사용자 요청 기반 가져오기

실제 사람이 어시스턴트에게 여러분의 페이지에 대해 묻고, 어시스턴트가 그것을 읽으러 갑니다. 이를 차단하면 어시스턴트는 여러분의 방문자에게 링크를 열 수 없다고 답하게 됩니다. 예: ChatGPT-User, Claude-User, Perplexity-User.

데이터셋 크롤러

많은 모델이 나중에 가져다 쓰는 공개 또는 상업용 크롤 코퍼스입니다. 예: CCBot (Common Crawl), Diffbot, AI2Bot, Webzio-Extended.

llms.txt란 무엇인가요?

llms.txt는 제안된 표준(llmstxt.org)입니다. 도메인 루트에 두는 Markdown 파일로, AI 어시스턴트에게 깔끔하게 정리된 사이트 지도를 제공합니다 — 이름을 담은 H1, blockquote에 한 줄 요약, 그다음 링크 섹션들. 랭킹 요소가 아니며 어떤 엔진도 읽을 의무는 없지만, 게시 비용이 저렴하고 어시스턴트가 여러분을 설명할 때 쓰는 표현을 통제할 수 있는 방법입니다. 이 도구는 구조를 검증하고 여러분의 sitemap을 바탕으로 시작용 파일을 생성합니다.

자주 묻는 질문

GPTBot을 차단하면 ChatGPT에서 사라지나요?

아니요 — 그리고 이것이 가장 흔한 오해입니다. GPTBot은 모델 학습에만 쓰입니다. ChatGPT의 실시간 답변은 OAI-SearchBot(검색 색인)과 ChatGPT-User(누군가 채팅에서 여러분의 링크를 열 때)를 사용합니다. 이 둘만 허용해 두면 GPTBot을 차단해도 ChatGPT에 인용될 수 있습니다.

Google-Extended가 내 Google Search 순위에 영향을 주나요?

아니요. Google-Extended는 콘텐츠가 Gemini의 학습과 그라운딩에 쓰이는지만 제어합니다. 일반 Search의 크롤링과 순위는 별도의 토큰인 Googlebot이 관장합니다. Google-Extended를 차단해도 Google Search에서 사라지지 않습니다.

AI 크롤러가 정말 robots.txt를 지키나요?

주요 사업자의 이름 있는 크롤러들은 토큰을 공개하고 이를 준수한다고 문서화되어 있습니다. 다만 robots.txt는 자발적입니다 — 벽이 아니라 요청입니다. 이를 무시하거나 신원을 밝히지 않는 크롤러에는 방화벽이나 WAF 규칙이 필요합니다.

아무것도 차단하지 않았는데 왜 페이지 점수가 낮나요?

접근은 절반일 뿐입니다. AI 크롤러는 JavaScript를 실행하지 않으므로, 텍스트가 JS 실행 후에만 나타난다면 빈 페이지를 보게 됩니다. 점수는 서버에서 렌더링된 텍스트, JSON-LD 구조화 데이터, 명확한 단일 H1, 그리고 title과 description도 함께 평가합니다.

llms.txt는 필수인가요?

아니요. 이는 제안일 뿐 어떤 엔진도 강제하는 표준이 아니며, 주요 엔진 중 읽겠다고 약속한 곳은 없습니다. 파일 하나만 게시하면 되고, 어시스턴트가 그대로 재사용할 수도 있는 요약을 직접 쓸 수 있는 유일한 자리이므로 손해는 거의 없습니다.