🤖 robots.txt 테스터
robots.txt와 URL 경로를 붙여넣어 각 User-agent가 크롤링할 수 있는지 판정. Allow / Disallow / 최장 일치 규칙을 정확히 처리.
✅ 완전 무료, 가입 불필요, 브라우저 전용
🤖 주요 크롤러 일괄 판정
🔗 관련 도구
📖 사용법
-
1
robots.txt 내용 붙여넣기왼쪽에 robots.txt 내용을 붙여넣습니다.
-
2
테스트할 URL 경로와 User-agent 입력경로(/admin/ 등)와 User-agent를 선택합니다.
-
3
판정 결과와 일괄 크롤러 확인선택한 User-agent의 판정과 일치 규칙이 표시됩니다.
❓ 자주 묻는 질문
Disallow: /와 Allow: /가 모두 있으면?
Google의 최장 일치 규칙을 따릅니다. 같은 길이면 Allow가 우선됩니다.
Sitemap 지시문은 처리되나요?
이 도구는 Allow / Disallow 규칙 판정에 집중하며 Sitemap 등은 무시됩니다.
User-agent는 대소문자를 구분하나요?
이 도구는 대소문자를 구분하지 않습니다.
🐛 이 도구에서 문제가 발생했나요?
무료 · 가입 불필요. 재현 절차만이라도 도움이 됩니다. 보고는 운영자에게 직접 전달되어 개선에 사용됩니다.
✅
보고 감사합니다!
운영자에게 전달되었습니다. 개선에 사용됩니다.