🤖 robots.txt Tester
Geben Sie einfach den Inhalt der robots.txt und den Ziel-URL-Pfad ein, um zu bestimmen, ob dieser Pfad für jeden User-Agent wie Googlebot / GPTBot / ClaudeBot erlaubt ist. Analysiert Allow / Disallow / Longest-Match-Regeln korrekt.
100% Free
No signup
Browser-only
5 languages
Dark mode
🤖 Massenbewertung der wichtigsten Crawler
🔗 Verwandte Tools
📖 Wie man es benutzt
-
1
Paste your robots.txt contentPaste the content of your robots.txt into the left textarea. Use the Sample button to try a typical robots.txt example.
-
2
Enter the URL path and User-agent to testEnter a path such as /admin/ in the Test URL path field and select a User-agent (Googlebot, GPTBot, ClaudeBot, etc.) from the dropdown.
-
3
Review the verdict and bulk crawler checkThe verdict (ALLOWED / DISALLOWED) and matched rule are shown for the selected User-agent. The bulk table at the bottom shows results for all major crawlers at once.
❓ Häufig gestellte Fragen
What if both Disallow: / and Allow: / are present?
Google uses the longest-match rule. If Allow and Disallow match the same length, Allow wins. This tool follows the same logic.
Is the Sitemap directive parsed?
This tool focuses on Allow / Disallow rule evaluation. Sitemap, Crawl-delay, and other directives are ignored.
Is User-agent matching case-sensitive?
This tool uses case-insensitive matching. Googlebot and googlebot are treated the same. Real Google crawlers also match case-insensitively.
🐛 Sind Sie auf ein Problem mit diesem Tool gestoßen?
Vollständig kostenlos und ohne Registrierung. Auch Reproduktionsschritte sind ausreichend. Eingegangene Berichte werden direkt an die Betreiber weitergeleitet und dienen als Referenz für Korrektionen.
✅
Vielen Dank für Ihren Bericht!
An den Administrator übermittelt. Wir werden es als Referenz für Verbesserungen nutzen.