Was ist eine robots.txt-Datei?

robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Domain, die wohlverhaltenen Web-Crawlern über User-Agent-, Allow- und Disallow-Direktiven mitteilt, welche Teile der Website sie crawlen dürfen und welche nicht.

Wo lege ich die generierte robots.txt-Datei ab?

Sie muss im Stammverzeichnis Ihrer Domain liegen — erreichbar unter https://ihredomain.de/robots.txt — nicht in einem Unterverzeichnis. Die meisten CMS-Plattformen und Static-Site-Generatoren haben einen bestimmten Ort für diese Datei.

Was bedeutet 'User-agent: *'?

Der Stern ist ein Platzhalter für 'alle Crawler' — jede Regel unter einer 'User-agent: *'-Gruppe gilt für jeden Bot, der nicht anderswo in der Datei eine eigene, spezifischere Gruppe hat.

Kann ich nur eine Suchmaschine blockieren und andere zulassen?

Ja. Fügen Sie eine separate User-Agent-Gruppe mit dem Namen dieses spezifischen Bots und eigenen Disallow-Regeln hinzu. Regeln gelten nur für Crawler, die exakt dem User-Agent dieser Gruppe entsprechen — sie gelten nicht kaskadierend für andere Bots.

Garantiert robots.txt, dass eine Seite nicht indexiert wird?

Nein. Das Blockieren eines Pfads in robots.txt bittet Crawler nur, ihn nicht abzurufen — eine URL kann trotzdem in Suchergebnissen erscheinen, wenn sie anderswo verlinkt ist. Um eine Indexierung zuverlässig zu verhindern, verwenden Sie ein 'noindex'-Meta-Tag oder einen HTTP-Header auf der Seite selbst.

Sollte ich meine Sitemap zu robots.txt hinzufügen?

Ja, das ist eine weit verbreitete Best Practice. Eine 'Sitemap:'-Zeile, die auf Ihre sitemap.xml verweist, gibt Crawlern eine einfache, standardisierte Möglichkeit, sie zu entdecken.

Was bewirkt Crawl-Delay, und respektieren alle Suchmaschinen es?

Crawl-Delay bittet einen Crawler, eine bestimmte Anzahl von Sekunden zwischen Anfragen zu warten, um die Serverlast zu reduzieren. Google unterstützt Crawl-Delay nicht, aber Bing und einige andere Crawler respektieren es.

Kann eine falsche robots.txt-Datei mein SEO beschädigen?

Ja — ein breites 'Disallow: /' unter 'User-agent: *' blockiert das Crawlen Ihrer gesamten Website, ein häufiger versehentlicher Fehler. Überprüfen Sie die generierte Datei immer, bevor Sie sie in die Produktion übernehmen.

Speichert oder sendet dieses Tool meinen robots.txt-Inhalt irgendwohin?

Nein. Die gesamte Datei wird in Ihrem Browser aus den eingegebenen Formularfeldern erstellt. Es wird nichts hochgeladen oder übertragen — das Kopieren oder Herunterladen des Ergebnisses erfolgt vollständig clientseitig.

Robots.txt-Generator — Eine Individuelle robots.txt-Datei Erstellen

Unser Robots.txt-Generator erstellt aus einem einfachen Formular eine syntaktisch gültige robots.txt-Datei: Fügen Sie eine oder mehrere User-Agent-Gruppen hinzu, listen Sie Allow- und Disallow-Pfade für jede auf, legen Sie optional eine Crawl-Delay fest und fügen Sie eine Sitemap-Direktive hinzu. Ein-Klick-Presets decken gängige Muster wie das Blockieren von /admin/ oder /api/ ab. Die Ausgabe wird live aktualisiert und kann als robots.txt kopiert oder heruntergeladen werden, bereit zum Ablegen im Stammverzeichnis Ihrer Website.

User-Agent

Zu blockierende Pfade (einer pro Zeile)

Zu erlaubende Pfade (einer pro Zeile)

Sitemap-URL

Crawl-Delay (Sekunden)

Generierte robots.txt

User-agent: *

So verwenden Sie Robots.txt-Generator — Eine Gültige Robots.txt-Datei Erstellen

1
Geben Sie einen User-Agent ein (verwenden Sie '*' für alle Crawler oder einen bestimmten Bot-Namen wie 'Googlebot').
2
Listen Sie die zu blockierenden und/oder zu erlaubenden Pfade auf, einen pro Zeile, oder klicken Sie auf eine Preset-Schaltfläche für gängige Regeln.
3
Fügen Sie optional weitere User-Agent-Gruppen, eine Sitemap-URL und einen Crawl-Delay-Wert hinzu.
4
Kopieren Sie den generierten robots.txt-Text oder laden Sie ihn direkt als robots.txt-Datei herunter.

Warum Robots.txt-Generator — Eine Gültige Robots.txt-Datei Erstellen verwenden?

Eine robots.txt-Datei ist das Erste, was wohlverhaltene Crawler prüfen, bevor sie Ihre Website indexieren, und ein einziger Syntaxfehler kann Ihr SEO unbemerkt beschädigen, indem er Seiten verbirgt, die Sie indexiert haben wollten, oder Seiten offenlegt, die Sie verbergen wollten. Robots.txt von Hand zu schreiben, ist trügerisch leicht subtil falsch zu machen, besonders wenn mehrere User-Agent-Gruppen beteiligt sind. Dieser Generator erzwingt automatisch die korrekte Struktur: Er gruppiert Direktiven unter dem richtigen User-Agent, ordnet Disallow/Allow-Zeilen korrekt und erzeugt eine Datei, die dem von Suchmaschinen erwarteten Format entspricht, wodurch das Rätselraten entfällt.

Robots.txt-Generator — Eine Individuelle robots.txt-Datei Erstellen

So verwenden Sie Robots.txt-Generator — Eine Gültige Robots.txt-Datei Erstellen

Warum Robots.txt-Generator — Eine Gültige Robots.txt-Datei Erstellen verwenden?

Häufig gestellte Fragen

Ähnliche Tools

Robots.txt-Tester — Prüfen, ob eine URL Erlaubt oder Blockiert Ist

Sitemap-Prüfer — XML-Sitemaps validieren & defekte Links finden

Website-Intelligence-Extraktor — SEO- & Metadaten-Snapshot-Tool

Tech-Stack-Detektor — Technologien jeder Website erkennen