🤖 robots.txt ジェネレーター
20 種類以上の主要クローラー (Googlebot / Bingbot / GPTBot / ClaudeBot / PerplexityBot / Bytespider 等) を一括で Allow / Disallow 設定。Crawl-delay・Sitemap・Host ディレクティブ対応。
🔒 プライバシーについて
- ・すべての処理はあなたのブラウザ内で完結します
- ・入力内容はサーバーに送信されません
- ・登録・ログイン・課金は一切不要です
⚡ プリセット
🤖 クローラー (User-agent)
📄 robots.txt
📖 つまずきやすいポイント
クローラーごとの Allow / Disallow、Crawl-delay、Sitemap、Host を指定して robots.txt を生成します。AI クローラー向けのプリセットも用意しています。処理はブラウザ内で完結します。robots.txt が制御するのは「クロールしてよいか」だけで、「検索結果に出すかどうか」ではありません — この 2 つを取り違えることが、このファイルにまつわる誤解のほとんどすべての原因です。
| ケース | 何が起きるか | どうする |
|---|---|---|
| Disallow したのに検索結果に出てくる | robots.txt はクロールを止めるだけで、インデックス登録を止めません。他のサイトからリンクされていれば、Google はページの中身を読まないまま URL だけを登録します — その結果、検索結果にはタイトルの代わりに URL が並び、説明文の欄に「このページの情報は robots.txt により取得できません」と表示されます。つまりDisallow は、隠すどころか「中身の分からない URL」を検索結果に残すことになります。しかも中身を読めないので、あなたが書いた noindex も読まれません。 |
検索結果に出したくないなら noindex を使ってください — HTML の <meta name="robots" content="noindex"> か HTTP ヘッダの X-Robots-Tag: noindex です。そしてそのページを robots.txt で Disallow してはいけません — noindex を読むにはクロールが必要だからで、この 2 つを併用すると意図と正反対の結果になります。すでに登録されてしまった URL を消したいときも同じで、まず Disallow を外して noindex を読ませ、削除されてから改めて Disallow するのが正しい順序です。確実に見せたくないものは、そもそも認証の裏に置いてください — 公開しているものを検索エンジンにだけ隠す仕組みは、原理的に信頼できません。 |
| Disallow に書いたパスが攻撃の手がかりになる | robots.txt は誰でも読める公開ファイルです。Disallow: /admin/ や Disallow: /backup/ と書くことは、「ここに管理画面とバックアップがあります」と全世界に告知するのと同じです。そして robots.txt は紳士協定でしかないので、悪意のある bot は最初にこのファイルを読み、そこに書かれたパスを狙います — 隠したつもりの場所が、もっとも効率の良い探索の出発点になります。実際、脆弱性スキャナーは robots.txt の取得を最初のステップに組み込んでいます。 |
守りたいものを robots.txt に書かないでください。管理画面・バックアップ・内部 API は、Basic 認証・IP 制限・VPN の裏に置くのが唯一の対策です — そこに置けば、そもそも robots.txt に書く必要がありません (認証で 401 を返せばクロールもされません)。どうしてもパスを隠したい場合は、個別のパスではなく上位のディレクトリだけを書くという手もありますが、これは対策ではなく気休めです。判断の基準は単純で、「そのパスが公開されて困るなら、それは robots.txt の仕事ではない」ということです。 |
| CSS や JS をブロックしてページの評価が落ちる | Google はページを実際にレンダリングして評価します — つまりブラウザと同じように CSS と JavaScript を読み込みます。ここで Disallow: /assets/ や Disallow: /wp-includes/ のような古い慣習が残っていると、レンダリングが失敗し、Google には「レイアウトの崩れた、あるいは中身の無いページ」に見えます。とくにクライアント側で本文を描画する構成では、本文そのものが認識されません。モバイルフレンドリーの判定も、CSS が読めなければ通りません。この問題は、順位が下がって初めて気付くという性質のものです。 |
レンダリングに必要なリソースは必ず許可してください。確認は簡単で、Search Console の「URL 検査」で「公開 URL をテスト」を実行し、レンダリング後のスクリーンショットとブロックされたリソースの一覧を見ればすぐ分かります — 画面が真っ白だったり、スタイルが当たっていなければそれが答えです。すでに Disallow を広く書いてしまっている場合は、Allow で個別に穴を開けられます (Disallow: /assets/ のあとに Allow: /assets/*.css と Allow: /assets/*.js)。そもそも、静的リソースをブロックする理由は現代のサイトにはほとんどありません — 迷ったら許可してください。 |
robots.txt はドメインのルートにしか置けません。example.com/blog/robots.txt は完全に無視されます。さらにサブドメイン・プロトコル・ポートはすべて別扱いなので、blog.example.com には別の robots.txt が必要で、http:// と https:// も理屈の上では別です。AI クローラーについて — GPTBot・ClaudeBot・PerplexityBot・Google-Extended は検索用のクローラーとは別物なので、拒否しても検索順位には影響しません。Google-Extended を拒否しても Googlebot のクロールは続きます。ただしAI の回答経由での流入を期待するなら許可すべきで、これは技術的な正解が無い事業判断です。なおボット名は増え続けるので、いま書いたリストは半年後には古くなります — 「一度書いて終わり」のファイルとして扱わず、定期的に見直してください。AI に読ませたい内容を示したい場合は robots.txt ではなく llms.txt が該当します — 役割が違います。
📖 使い方
-
1
クローラーを選ぶチェックボックスで対象クローラーを選び、Allow / Disallow を切り替え。
-
2
パスとオプションを指定Allow / Disallow パス、Crawl-delay、Sitemap URL、Host を入力。
-
3
コピーまたはダウンロード生成された robots.txt をコピーまたはファイルとして保存。
❓ よくある質問
GPTBot や ClaudeBot を拒否すると検索順位に影響しますか？
Disallow したのにクロールされるのはなぜ？
robots.txt はどこに置けばよいですか？
🔗 関連ツール
🐛 このツールで問題が発生しましたか？
完全無料・登録不要。再現手順だけでも結構です。届いたご報告は運営者に直接届き、修正の参考にします。
ご報告ありがとうございます！
運営者に届きました。改善の参考にさせていただきます。