Robots.txtジェネレーター - robots.txtファイルを無料でオンライン作成

Webサイトのページへの検索エンジンクローラーのアクセスを制御するrobots.txtファイルを生成

ジェネレーター

Generator

使い方

robots.txtファイルは、Webサイトのルートに配置されるテキストファイルで、検索エンジンのクローラーに対して、どのページやセクションのクロールとインデックスを許可するか、しないかを指示します。

いいえ。robots.txtは指示であり、強制的なブロックではありません。Googlebotのような善良なボットはこれを尊重しますが、悪意のあるボットは無視する可能性があります。ページがインデックスされないことを確実にするには、"noindex"メタタグまたはHTTPヘッダーを使用してください。

User-agent: *はすべてのWebクローラーにルールを適用します。GooglebotやBingbotなどの個別のボットを指定して、ボット固有のルールを作成することもできます。

robots.txtファイルはドメインのルートに配置し、https://yourdomain.com/robots.txtでアクセスできる必要があります。サブディレクトリのrobots.txtファイルは無効であり、クローラーに無視されます。

使い方

1User-agentを設定してください（すべてのボットには*を使用、またはGooglebotなどの特定のボット名を指定）

2禁止するパスを1行に1つずつ入力してください（例：/admin、/private）

3必要に応じて明示的に許可するパスを追加してください

4サイトマップURLがある場合は追加してください

5「生成」をクリックし、出力をWebサイトのルートディレクトリにrobots.txtという名前で保存してください

よくある質問