🤖 robots.txt Generator

Stellen Sie Allow / Disallow für über 20 Hauptcrawler (Googlebot / Bingbot / GPTBot / ClaudeBot / PerplexityBot / Bytespider usw.) auf einmal ein. Unterstützt Crawl-delay-, Sitemap- und Host-Direktiven.

100% Free No signup Browser-only 5 languages Dark mode

🔒 Über Datenschutz

・Die gesamte Verarbeitung erfolgt in Ihrem Browser
・Der Eingabeinhalt wird nicht an den Server gesendet
・Keine Registrierung, Anmeldung oder Abrechnung erforderlich

⚡ Voreinstellung

🤖 Crawler (User-Agent)

Allow-Pfad (1 pro Zeile)

Disallow Pfad (1 pro Zeile)

Crawl-delay (Sekunden)

Sitemap URL

Host (Für Yandex)

📄 robots.txt

📖 Wie man es benutzt

1

Pick crawlers

Check the crawlers and toggle Allow / Disallow.
2

Add paths and options

Enter Allow / Disallow paths, Crawl-delay, Sitemap URL and Host.
3

Copy or download

Copy the generated robots.txt or save as file.

❓ Häufig gestellte Fragen

Does blocking GPTBot or ClaudeBot affect SEO ranking?

No. They are separate AI training crawlers, distinct from Googlebot or Bingbot. SEO ranking is unaffected. Allow them if you want AI citations (LLMO).

Why is my Disallow ignored?

robots.txt is advisory. Malicious bots ignore it. For hard blocking, combine with HTTP 401 / Basic Auth or IP-level rules.

Where should robots.txt be placed?

It must be at the domain root (https://example.com/robots.txt). Subdirectories are not recognized.

🔗 Verwandte Tools

🐛 Sind Sie auf ein Problem mit diesem Tool gestoßen?

Vollständig kostenlos und ohne Registrierung. Auch Reproduktionsschritte sind ausreichend. Eingegangene Berichte werden direkt an die Betreiber weitergeleitet und dienen als Referenz für Korrektionen.