Robots.txt チェッカー

Robots.txtについて

robots.txtファイルとは何ですか？

2026年になってもrobots.txtは重要ですか？

robots.txtとAI検索の関係

robots.txt のベストプラクティス

• ファイルはドメインのルートに配置してください。それ以外の場所に置くと、完全に無視されます。
• 機密性の高いコンテンツを隠すために、決して使用しないでください。このファイルは公開されており、隠したかったパスを見つける最も速い方法は、そのファイルを読むことです。
• ページを検索結果から除外することが目的であれば、クロールをブロックするのではなく、noindex ディレクティブを使用してください。
• 同じページでこの2つを併用しないでください。ブロックされたページは決して読み取られないため、そのページの noindex も認識されません。
• クローラーが別途指示されなくても見つけられるよう、ファイル内で XML サイトマップを参照してください。
• サブドメインには専用のファイルを用意してください。メインドメインのルールは、サブドメインには適用されません。

よくある間違い

• 公開後も開発時のルールでサイト全体をブロックしたままにすること。これは、このエラーの中でも最も深刻なケースです。
• CSSやJavaScriptをブロックすると、訪問者に表示される状態で検索エンジンがページをレンダリングできなくなります。
• ブロックしたURLが検索結果から消えると思い込むこと。説明文なしで検索結果に残る場合があります。
• 存在しないユーザーエージェント文字列用のルールを記述しているため、何も影響を受けません。
• 自分のサイトマップで送信しているクロールパスをブロックしており、矛盾した指示を送っています。

このツールがチェックする項目

次に行うこと