Erstellen Sie eine robots.txt-Datei, um den Zugriff von Suchmaschinen-Crawlern auf Ihre Website-Seiten zu steuern
Generatoren
Generator
Anleitung
1Legen Sie den User-Agent fest (verwenden Sie * für alle Bots oder einen bestimmten Bot-Namen wie Googlebot)
2Geben Sie die zu sperrenden Pfade ein, einen pro Zeile (z. B. /admin, /privat)
3Fügen Sie optional Pfade hinzu, die ausdrücklich erlaubt werden sollen
4Fügen Sie Ihre Sitemap-URL hinzu, falls vorhanden
5Klicken Sie auf Generieren und kopieren Sie die Ausgabe in eine Datei namens robots.txt im Stammverzeichnis Ihrer Website
Häufig gestellte Fragen
Eine robots.txt-Datei ist eine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawler anweist, welche Seiten oder Bereiche sie crawlen und indexieren dürfen oder nicht.
Nein. Robots.txt ist eine Anweisung, keine harte Sperre. Seriöse Bots wie der Googlebot respektieren sie, aber bösartige Bots können sie ignorieren. Um sicherzustellen, dass eine Seite nicht indexiert wird, verwenden Sie ein "noindex"-Meta-Tag oder einen HTTP-Header.
User-agent: * wendet die Regeln auf alle Web-Crawler an. Sie können einzelne Bots wie Googlebot oder Bingbot angeben, um bot-spezifische Regeln zu erstellen.
Die robots.txt-Datei muss im Stammverzeichnis Ihrer Domain platziert werden und unter https://ihredomain.com/robots.txt erreichbar sein. Robots.txt-Dateien in Unterverzeichnissen sind ungültig und werden von Crawlern ignoriert.