🤖 robots.txt テスター
robots.txt の内容と対象 URL パスを入力するだけで、Googlebot / GPTBot / ClaudeBot など各 User-agent ごとにそのパスが許可されているか判定します。Allow / Disallow / 最長一致ルールを正しく解析。
🤖 主要クローラー一括判定
🔗 関連ツール
📖 つまずきやすいポイント
貼り付けた robots.txt の本文と URL パスを突き合わせ、Allow / Disallow の最長一致ルールで判定します。Googlebot・GPTBot・ClaudeBot など主要クローラーの一括判定も同時に表示します。処理はブラウザ内で完結し、あなたのサイトに接続はしません — 実際に公開されている robots.txt を取得して調べたい場合は robots.txt 詳細解析 を使ってください。そして最も重要な前提として、このファイルが制御するのはクロールであってインデックスではありません。「Disallow したのに検索結果から消えない」は、仕様どおりの動作です。
| ケース | 何が起きるか | どうする |
|---|---|---|
Disallow は「インデックスされない」ではない |
Disallow が指示しているのは「取得しに来るな」であって、「検索結果に載せるな」ではありません。外部から被リンクがあれば、検索エンジンはページの中身を見ないまま URL を結果に載せることがあります — 説明文の代わりに「このページの情報はありません」と表示されるあの状態です。さらに深刻なのは順序の問題で、ページに noindex を書いても、そのページが Disallow されていればクローラーは noindex を読めません。読めない指示は実行されません。つまり Disallow は、noindex を永久に効かなくする唯一確実な方法になってしまいます。 |
目的で使い分けてください。 検索結果から消したいなら、クロールを許可したうえで noindex を返します — HTML の <meta name="robots" content="noindex"> か、HTTP ヘッダの X-Robots-Tag: noindex です (PDF や画像には後者を使います)。効果が出るのは、そのページが再クロールされたときなので、急ぐなら Search Console の削除ツールを併用します。一方 Disallow が正しいのは、クロール自体を減らしたいとき — 絞り込みパラメータの無限組み合わせ、内部検索結果、カレンダーの延々と続く未来日付などです。そして機密の保護にはどちらも使えません。認証をかけてください — それ以外はすべて「お願い」にすぎません。 |
| クローラーは 1 つのグループしか読まない | これは最も誤解の多い仕様です。クローラーは自分の名前に最も具体的に一致するグループを 1 つだけ選び、他のグループを完全に無視します — User-agent: * も含めてです。ルールは合成されません。したがって、User-agent: * に Disallow: /admin/ と書き、あとで User-agent: Googlebot のグループを足して Allow: / だけ書くと、Googlebot は * のグループを丸ごと無視して /admin/ をクロールします。特定のボットに例外を 1 つ足したつもりが、そのボットに対する制限を全部外していたという事故が、この仕様から生まれます。 |
特定のボット用のグループを作ったら、共通ルールをそのグループにも全部書き写してください。 重複は冗長ではなくこの仕様では必須です。作業後はこのページの一括判定で必ず確認してください — 主要クローラーを縦に並べて同じパスを判定するので、1 行だけ結果が違うボットがあれば、それが書き漏らしです。テストするパスの選び方にもコツがあります: ブロックしたい URL だけを試すと、全体を誤って Disallow: / にしてしまった場合でも「正しく動いている」ように見えます。必ず「通ってほしい URL」も 1 つ入れてください — トップページや主要な記事ページです。 |
パスは前方一致で、特別なのは * と $ だけ |
Disallow の値はディレクトリ名ではなく、URL パスの先頭からの文字列として比較されます。したがって Disallow: /admin は /admin/ だけでなく /administrator-guide や /admin-policy.html もブロックします。大文字小文字も区別されます — /Admin/ は別物です。ワイルドカードは * (任意の文字列) と $ (末尾) の 2 つだけで、正規表現は使えません。拡張子で指定するときは $ が必須で、Disallow: /*.pdf は /a.pdf?x=1 にも /a.pdf.html にも当たります。そして最も高くつく間違いは 1 文字です — Disallow: (空) は「全部許可」、Disallow: / は「全部禁止」です。 |
ディレクトリを指すつもりなら、必ず末尾のスラッシュを書いてください (Disallow: /admin/)。そのうえで、このページで両方の形を試してください — /admin/ と /admin-tools/ の 2 つを判定させれば、意図より広く当たっていないかがその場で分かります。クエリ文字列も判定対象なので、絞り込みを止めたいなら Disallow: /*? のように実際に使っている形で試してください。そして公開前に必ず本番の robots.txt を丸ごと貼って、トップページが Allow になることを確認してください — ステージング用の Disallow: / をそのまま本番に出す事故は、この 1 手順で全部防げます。 |
robots.txt はオリジン単位で効きます。スキーム・ホスト名・ポートのどれかが違えば別のファイルです — https://example.com/robots.txt は http:// にも www.example.com にも blog.example.com にも適用されません。置き場所はルート直下だけで、サブディレクトリに置いても読まれません。書式面では、Crawl-delay は Google が無視します (速度を落としたいなら Search Console で指定します)。Sitemap: だけは例外で、グループに属さずファイルのどこに書いても有効です。そして最後に、これは強制力のある仕組みではありません。従うかどうかはクローラー側の任意で、悪意のあるボットは読んだうえで無視します。むしろこのファイルは「隠したいパスの一覧」を全世界に公開しています — Disallow: /secret-admin/ と書くことは、そこに管理画面があると告知することと同じです。秘密にしたいものは、robots.txt に書かないでください。
📖 使い方
-
1
robots.txt の内容を貼り付け左側のテキストエリアに robots.txt の内容を貼り付けます。サンプルボタンで代表的な書き方を試すこともできます。
-
2
テストする URL パスと User-agent を入力右上の「テストする URL パス」に /admin/ などのパスを入力し、ドロップダウンで Googlebot・GPTBot・ClaudeBot などの User-agent を選びます。
-
3
判定結果と一括クローラーチェックを確認選択した User-agent に対して ALLOWED / DISALLOWED の判定と一致したルールが表示されます。ページ下部の一括判定表で主要クローラー全員の結果も確認できます。
❓ よくある質問
Disallow: / と Allow: / が両方ある場合はどうなりますか?
Sitemap 行は解析されますか?
User-agent の大文字小文字は区別されますか?
🐛 このツールで問題が発生しましたか？
完全無料・登録不要。再現手順だけでも結構です。届いたご報告は運営者に直接届き、修正の参考にします。
ご報告ありがとうございます！
運営者に届きました。改善の参考にさせていただきます。