Was bedeutet 'Erlaubt' oder 'Blockiert' im Ergebnis?

Es zeigt, ob der spezifische getestete Pfad für den angegebenen (oder standardmäßigen '*') User-Agent erlaubt oder blockiert wäre, basierend auf der Analyse des robots.txt-Inhalts und der Anwendung der Standard-Prioritätsregeln.

Wie entscheidet das Tool, welche Regel bei Konflikten gewinnt?

Es folgt der weit verbreiteten Priorität 'die spezifischste Regel gewinnt': Die Allow- oder Disallow-Regel mit dem längsten übereinstimmenden Pfadmuster hat Vorrang, unabhängig von der Reihenfolge in der Datei. Bei gleicher Länge gewinnt Allow.

Was ist der Unterschied zwischen Einfügen-Modus und Live-Modus?

Der Einfügen-Modus ermöglicht das Testen einer robots.txt-Datei, die Sie gerade entwerfen oder bearbeiten, bevor sie jemals bereitgestellt wird. Der Live-Modus ruft die tatsächliche robots.txt ab, die derzeit auf dem Server einer öffentlichen Website live ist.

Funktioniert der Live-Modus bei jeder Website?

Er funktioniert bei jeder öffentlichen Website mit einer erreichbaren robots.txt-Datei. Aus Sicherheitsgründen blockiert das Tool Anfragen an localhost, private IP-Bereiche und andere interne Adressen.

Unterstützt das Tool Platzhalter (*) und Endanker ($)?

Ja. Sowohl der Platzhalter '*' als auch der Endanker '$' werden unterstützt, entsprechend der Mustersyntax, die von Google und anderen großen Crawlern verwendet wird.

Was, wenn ich keinen User-Agent angebe?

Das Tool testet standardmäßig gegen die Gruppe 'User-agent: *', die für jeden Crawler ohne eigene spezifische, benannte Gruppe in der Datei gilt.

Was passiert, wenn der Pfad keiner Regel entspricht?

Das Ergebnis zeigt 'Erlaubt' mit einem Hinweis, dass keine Regel gegriffen hat — dies ist korrektes Verhalten, da robots.txt standardmäßig auf 'Erlauben' basiert.

Ist das dasselbe wie der robots.txt-Tester der Google Search Console?

Es folgt derselben Prioritätslogik, die Googles eigener Tester und Crawler verwenden, obwohl die Search-Console-Version an eine verifizierte Property gebunden ist. Dieses Tool funktioniert bei jeder Website ohne erforderliche Eigentumsverifizierung.

Benachrichtigt das Abrufen der robots.txt einer Website im Live-Modus diese Website?

Der Abruf ist eine standardmäßige HTTP-GET-Anfrage mit einem beschreibenden User-Agent-Header, der wie jeder andere Besuch in den Zugriffsprotokollen des Zielservers erscheint — es wird keine getarnte oder versteckte Anfrage gestellt.

Robots.txt-Tester — URLs Gegen Jede Robots.txt-Datei Testen

Unser Robots.txt-Tester prüft, ob ein gegebener Pfad gemäß den Regeln einer robots.txt-Datei erlaubt oder blockiert ist, wobei korrekt dieselbe 'Längste-Übereinstimmung-gewinnt'-Priorität angewendet wird, die echte Suchmaschinen-Crawler verwenden. Fügen Sie robots.txt-Inhalt direkt ein, oder wechseln Sie in den Live-Modus, um die tatsächliche robots.txt einer beliebigen öffentlichen Website serverseitig abzurufen. Geben Sie einen Pfad und optional einen User-Agent ein und sehen Sie genau, welche Regel gegriffen hat und warum.

robots.txt-Inhalt

Zu testender Pfad

User-Agent (optional)

Fügen Sie robots.txt-Inhalt ein und geben Sie einen zu testenden Pfad ein.

So verwenden Sie Robots.txt-Tester — Prüfen, ob eine URL Erlaubt oder Blockiert Ist

1
Wählen Sie den 'Einfügen'-Modus, um robots.txt-Inhalt direkt einzufügen, oder den 'Live'-Modus, um ihn von einer echten Website abzurufen.
2
Geben Sie im Live-Modus die URL der Website ein und klicken Sie auf 'Abrufen', um deren tatsächlichen robots.txt-Inhalt zu laden.
3
Geben Sie den zu testenden Pfad und optional einen bestimmten User-Agent wie 'Googlebot' ein.
4
Überprüfen Sie das Ergebnis Erlaubt/Blockiert und sehen Sie genau, welche Regel in der Datei gegriffen hat, basierend auf denselben Spezifitätsregeln, die echte Crawler verwenden.

Warum Robots.txt-Tester — Prüfen, ob eine URL Erlaubt oder Blockiert Ist verwenden?

Robots.txt-Regeln können unbemerkt in Konflikt geraten — ein breites 'Disallow: /' kombiniert mit einem spezifischeren 'Allow: /public/' weiter unten in der Datei ist gültig und üblich, aber es ist leicht falsch einzuschätzen, welche Regel für eine gegebene URL tatsächlich gewinnt, ohne die Prioritätslogik der Spezifikation zu kennen. Eine robots.txt-Datei manuell zu lesen und das Ergebnis zu erraten, ist fehleranfällig, besonders bei mehreren User-Agent-Gruppen und Platzhaltermustern. Dieses Tool wendet den echten Prioritätsalgorithmus an, den Crawler verwenden, und zeigt genau, welche Regel gegriffen hat, wodurch das Rätselraten entfällt.

Robots.txt-Tester — URLs Gegen Jede Robots.txt-Datei Testen

So verwenden Sie Robots.txt-Tester — Prüfen, ob eine URL Erlaubt oder Blockiert Ist

Warum Robots.txt-Tester — Prüfen, ob eine URL Erlaubt oder Blockiert Ist verwenden?

Häufig gestellte Fragen

Ähnliche Tools

Robots.txt-Generator — Eine Gültige Robots.txt-Datei Erstellen

Sitemap-Prüfer — XML-Sitemaps validieren & defekte Links finden

Website-Intelligence-Extraktor — SEO- & Metadaten-Snapshot-Tool

Website zu PNG, PDF, WebP & JPG konvertieren — Kostenloser Screenshot-Generator