Robots.txtテスター — あらゆるRobots.txtファイルに対してURLをテスト
Robots.txtテスターは、実際の検索エンジンクローラーが使用するのと同じ最長一致優先の優先順位を正しく適用して、指定されたパスがrobots.txtファイルのルールによって許可されているかブロックされているかを確認します。robots.txtの内容を直接貼り付けるか、ライブモードに切り替えて任意の公開サイトの実際のrobots.txtをサーバー側で取得します。パスとオプションのuser-agentを入力すると、どのルールが一致したか、そしてその理由が正確にわかります。
robots.txtの内容を貼り付けて、テストするパスを入力してください。
Robots.txtテスター — URLが許可されているかブロックされているか確認の使い方
- 1
robots.txtの内容を直接貼り付けるには「貼り付け」モードを、実際のウェブサイトから取得するには「ライブ」モードを選択します。
- 2
ライブモードでは、サイトのURLを入力し「取得」をクリックして実際のrobots.txtの内容を読み込みます。
- 3
テストしたいパスと、オプションで'Googlebot'などの特定のuser-agentを入力します。
- 4
許可／ブロックの結果を確認し、実際のクローラーが使用するのと同じ特異性ルールに基づいて、ファイル内のどのルールが一致したかを正確に確認します。
なぜRobots.txtテスター — URLが許可されているかブロックされているか確認を使うのか？
robots.txtのルールは静かに矛盾することがあります — 広範な「Disallow: /」とファイルの下の方にあるより具体的な「Allow: /public/」の組み合わせは有効でよくあるものですが、仕様の優先順位ロジックを知らずに、特定のURLに対してどのルールが実際に勝つかを判断するのは簡単ではありません。robots.txtファイルを手動で読んで結果を推測するのはミスが起きやすく、特に複数のUser-agentグループやワイルドカードパターンがある場合はなおさらです。このツールはクローラーが使用する実際の優先順位アルゴリズムを適用し、どのルールが一致したかを正確に示すことで、推測の余地をなくします。
よくある質問
関連ツール
Robots.txtジェネレーター — 有効なRobots.txtファイルを作成
Allow/Disallowルール、サイトマップディレクティブ、クロール遅延を備えた有効なrobots.txtファイルを生成します。無料のブラウザベースrobots.txtビルダー — 即座にダウンロードまたはコピー。
サイトマップチェッカー — XMLサイトマップを検証しリンク切れを発見
任意のWebサイトのXMLサイトマップをエラー、リンク切れ、メタデータの欠落についてチェックします。ライブURLステータス確認付きの無料オンラインサイトマップ検証ツール。登録不要です。
ウェブサイトインテリジェンス抽出ツール — SEO＆メタデータスナップショットツール
任意のURLから、タイトル、メタディスクリプション、Open Graphタグ、見出し、単語数、内部／外部リンク数を1回のリクエストで抽出します。無料のSEOスナップショットツール。
ウェブサイトをPNG・PDF・WebP・JPGに変換 — 無料スクリーンショットツール
任意のウェブサイトURLをPNG・PDF・WebP・JPGに無料で変換。デスクトップ・タブレット・モバイル表示でキャプチャ。即時 — 登録不要。