🤖 robots.txt 詳細解析
ホスト名を入れるだけで /robots.txt を取得し、User-agent グループごとの Allow / Disallow ルール、Sitemap、Crawl-delay、主要な検索エンジン・AI クローラの許可状態を解析します。
完全無料
登録不要
サーバー処理
ログ・DB 保存なし
レート制限あり
5 言語対応
ダークモード
📖 この診断で分かること
この診断は /robots.txt を取得して構文を解析し、User-agent グループごとの規則、主要な検索クローラーと AI ボットの許可状態、Sitemap: 行を一覧にします。最初に押さえるべきなのは、robots.txt はクロールを制御するものであって、インデックスを止めるものではないという点です。Disallow したページでも、他サイトからリンクされていれば URL だけが検索結果に載ることがあります。
| 判定項目 | 何を見ているか | 引っかかったときの対処 |
|---|---|---|
| Disallow でインデックスを止めようとしている | Disallow はクロールを止めるだけです。しかもnoindex はページを読まないと分からないので、Disallow と noindex を同時に指定すると noindex が永久に読まれません。「robots.txt でブロックしましたがインデックスに登録されました」という Search Console の警告は、まさにこの状態を指しています。 |
インデックスさせたくないなら、robots.txt では許可したうえで <meta name="robots" content="noindex"> か、HTML 以外なら X-Robots-Tag: noindex ヘッダーを返します。完全に見せたくないものは robots.txt ではなく認証（401 / 403）で守ってください。robots.txt は公開ファイルなので、隠したいパスを書くこと自体が案内になります。 |
| User-agent グループが効いていない | クローラーが従うのは自分に最も具体的に一致するグループ 1 つだけで、User-agent: * のグループとは併用されません。Googlebot 用のグループを作った瞬間、Googlebot は * のルールを完全に無視します。共通の Disallow がそこから抜け落ちる事故が非常に多い箇所です。 |
個別グループを作ったら、* に書いてある共通ルールをそのグループにもコピーします。逆に言えば、特定のボットだけ扱いを変える必要が無いのなら * 一本にまとめるのが安全です。Allow と Disallow が競合したときは、パスが長い（より具体的な）方が勝ちます。 |
| パスの書き方が意図とずれている | パスは前方一致で、大文字小文字を区別します。Disallow: /admin は /administrator/ にも /admin-guide.html にも当たります。使えるワイルドカードは *（任意の文字列）と $（末尾）だけで、正規表現は解釈されません。 |
ディレクトリだけを対象にしたいなら末尾に / を付けます（Disallow: /admin/）。拡張子で絞るなら Disallow: /*.pdf$。CSS と JavaScript は絶対に Disallow しないでください — Google はページをレンダリングして評価するため、これらを遮断するとレイアウト崩れと判定され、モバイル対応の評価にも響きます。 |
robots.txt はホストとポートごとに別物です。https://example.com/robots.txt と https://www.example.com/robots.txt は無関係で、サブドメインごとに用意する必要があります。取得できない場合の扱いも決まっていて、404 なら「全部許可」、5xx が続くと Google は一定期間「全部禁止」とみなします。メンテナンス中に 503 を返す設計にしているサイトは、robots.txt だけは 200 を返すようにしてください。
🔗 関連ツール
- ・LLMO 診断 — AI クローラ許可・llms.txt
- ・SEO 基本チェック
- ・構造化データ検証
- ・URL 総合診断