Generador de Robots.txt - Cree archivos robots.txt en línea gratis
Genere un archivo robots.txt para controlar el acceso de los rastreadores de motores de búsqueda a las páginas de su sitio web
Generadores
Generator
Cómo usar
1Configure el User-agent (use * para todos los bots, o un nombre de bot específico como Googlebot)
2Introduzca las rutas a bloquear, una por línea (por ejemplo, /admin, /privado)
3Opcionalmente agregue rutas que desee permitir explícitamente
4Agregue la URL de su sitemap si tiene uno
5Haga clic en Generar y copie la salida a un archivo llamado robots.txt en la raíz de su sitio
Preguntas frecuentes
Un archivo robots.txt es un archivo de texto colocado en la raíz de su sitio web que indica a los rastreadores de motores de búsqueda qué páginas o secciones pueden o no pueden rastrear e indexar.
No. Robots.txt es una directiva, no un bloqueo absoluto. Los bots responsables como Googlebot la respetarán, pero los bots maliciosos pueden ignorarla. Para garantizar que una página no sea indexada, use una etiqueta meta "noindex" o un encabezado HTTP.
User-agent: * aplica las reglas a todos los rastreadores web. Puede especificar bots individuales como Googlebot o Bingbot para crear reglas específicas por bot.
El archivo robots.txt debe colocarse en la raíz de su dominio, accesible en https://sudominio.com/robots.txt. Los archivos robots.txt en subdirectorios no son válidos y serán ignorados por los rastreadores.