기술 SEO
Robots.txt 규칙 테스터
robots.txt 파일을 붙여넣고 크롤러를 선택한 뒤 아무 경로나 테스트해 보세요. 어떤 규칙이 실제로 이기는지 정확히 확인하고, 검색엔진을 모르게 차단하거나 크롤 예산을 낭비하는 실수를 잡아냅니다.
모든 처리는 브라우저 안에서만 이루어집니다. 익명 사용 횟수 외에는 붙여넣은 내용이 어디로도 전송되지 않습니다.
robots.txt 파일의 내용을 그대로 붙여넣으세요.
도메인 없이 경로와 선택적 쿼리 문자열만, 예: /blog/post-1?ref=x
작동 원리 및 흔한 실수 고치는 법
실제 크롤러는 자신의 이름과 가장 구체적으로 일치하는 단 하나의 User-agent 그룹을 선택하고(정확히 일치하거나 가장 긴 접두사 일치가 "*"를 이깁니다), 그 그룹 안에서만 경로 패턴이 가장 길게 일치하는 Allow 또는 Disallow 규칙을 적용합니다(길이가 같으면 Allow가 이깁니다). 이 도구는 바로 그 알고리즘을 그대로 실행하며, 단순히 처음 발견된 Disallow를 찾는 것이 아닙니다.
규칙 안의 "*"는 임의의 문자열과 일치하며, 끝의 "$"는 규칙을 경로의 끝에 고정합니다. Disallow: /*.pdf$ 는 /file.pdf는 차단하지만 /file.pdf?ref=1은 차단하지 않습니다 — PDF가 의도치 않게 계속 크롤링되는 흔한 원인입니다.
빈 "Disallow:" 줄은 아무 제한도 없다는 뜻이며 아무것도 차단하지 않습니다. 또한 크롤러가 특정 그룹(예: "Googlebot")과 일치하는 순간, 그 크롤러에게는 "User-agent: *" 아래의 규칙이 완전히 무시됩니다. 둘은 절대 병합되지 않습니다.
이 도구가 표시하는 흔한 실수: 스테이징 사이트에서 남은 Disallow: /(전체 차단), 어떤 User-agent 줄보다 앞에 놓인 규칙(조용히 무시됨), Crawl-delay(Google과 Bing이 무시함), 절대 경로가 아닌 Sitemap URL.