Générateur de Robots.txt - Créez un fichier robots.txt en ligne gratuitement
Générez un fichier robots.txt pour contrôler l'accès des robots des moteurs de recherche aux pages de votre site web
Générateurs
Generator
Comment utiliser
1Définissez le User-agent (utilisez * pour tous les robots, ou un nom de robot spécifique comme Googlebot)
2Saisissez les chemins à interdire, un par ligne (par ex. /admin, /prive)
3Ajoutez optionnellement des chemins à autoriser explicitement
4Ajoutez l'URL de votre sitemap si vous en avez un
5Cliquez sur Générer et copiez la sortie dans un fichier nommé robots.txt à la racine de votre site
Questions fréquentes
Un fichier robots.txt est un fichier texte placé à la racine de votre site web qui indique aux robots des moteurs de recherche quelles pages ou sections ils sont autorisés ou non à explorer et indexer.
Non. Le robots.txt est une directive, pas un blocage absolu. Les robots responsables comme Googlebot le respecteront, mais les robots malveillants peuvent l'ignorer. Pour garantir qu'une page ne soit pas indexée, utilisez une balise meta "noindex" ou un en-tête HTTP.
User-agent: * applique les règles à tous les robots d'exploration web. Vous pouvez spécifier des robots individuels comme Googlebot ou Bingbot pour créer des règles spécifiques à chaque robot.
Le fichier robots.txt doit être placé à la racine de votre domaine, accessible à l'adresse https://votredomaine.com/robots.txt. Les fichiers robots.txt dans les sous-répertoires ne sont pas valides et seront ignorés par les robots.