기술 SEO
Robots.txt 차이 & 배포 위험 검사기
현재 운영 중인 robots.txt와 배포하려는 버전을 붙여넣으세요. 선택한 크롤러와 경로에 대해 실제 최장 일치/와일드카드/$ 규칙 엔진으로 두 파일을 모두 실행한 뒤, 정확히 무엇이 바뀌었는지 — 그리고 배포해도 안전한지 표시합니다.
모든 처리는 브라우저 안에서만 이루어집니다. 익명 사용 횟수 외에는 여기에 붙여넣은 내용이 어디로도 전송되지 않습니다.
새 파일만 단독으로 감사하고 싶다면 비워 두세요 (이전/이후 비교 없음).
배포하려는 버전입니다.
규칙 엔진은 크롤러별로 실행됩니다 — 실제 크롤러는 전용 그룹과 와일드카드 그룹을 절대 병합하지 않습니다.
도메인 없이 경로와 선택적 쿼리 문자열만 입력하세요. 홈페이지, 주요 템플릿, 걱정되는 경로를 포함하세요.
작동 방식과 단순 텍스트 diff로 충분하지 않은 이유
단순한 줄 단위 텍스트 diff는 크롤러 입장에서 실제로 무엇이 바뀌었는지 알려주지 못합니다: 그룹 순서 변경, Disallow를 무효화하는 Allow 추가, 더 길고 구체적인 규칙이 더 짧은 규칙을 덮어쓰는 것 등은 diff에서는 크게 눈에 띄지 않아도 동작을 바꿉니다. 이 도구는 실제 크롤러 알고리즘(가장 구체적인 User-agent 그룹이 우선, 그다음 가장 길게 일치하는 Allow/Disallow 규칙이 우선, 동률이면 Allow 우선)을 두 파일에 대해 다시 실행하여 줄이 아니라 결과를 비교합니다.
심각도는 변경 내용에 따라 정해집니다: 홈페이지가 새로 차단되거나 사이트 전체 Disallow가 생기면 심각, CSS/JS 파일이 새로 차단되거나 admin·checkout·account·.env처럼 민감해 보이는 경로가 새로 열리면 경고, 그 외 새로 차단되거나 허용된 경로는 직접 확인할 수 있도록 정보로 표시됩니다.
또한 나열한 경로와 무관하게 구조도 확인합니다: 새 파일이 전면적인 "Disallow: /"를 도입했는지, Sitemap 지시어가 조용히 삭제되었는지, 어떤 크롤러 전용 그룹이 추가되거나 제거되었는지입니다.
Google과 Bing은 Crawl-delay를 완전히 무시하며, 크롤러가 "Googlebot"과 같은 전용 그룹에 일치하면 "User-agent: *" 아래의 규칙은 그 크롤러에 절대 적용되지 않는다는 점(병합되지 않음)을 기억하세요.