robots.txt-Generator

VonOleh Soloninaktualisiert 25. September 2026

Ergebnis

3 Regeln in 6 Zeilen. Die Datei gehört unverändert in das Wurzelverzeichnis der Domain.

robots.txt

User-agent: * Disallow: /admin Disallow: /warenkorb Disallow: /suche Sitemap: https://example.de/sitemap.xml

Anzahl der Regeln

Ergebnis für den geprüften Pfad

/admin/login wird nicht geladen — gesperrt durch „Disallow: /admin“.

Welche Regel gewinnt

Gelesen wird nicht von oben nach unten, sondern nach Länge: Es gewinnt das längste zutreffende Muster, bei Gleichstand Allow. Auf /admin/login passt „Disallow: /admin“ mit 6 Zeichen — der Pfad wird nicht geladen.

Hinweise

Disallow verbietet das Abrufen, nicht das Anzeigen. Eine gesperrte Seite kann trotzdem in der Trefferliste erscheinen — ohne Beschreibung. Soll die Seite bestehen bleiben, nimmt sie noindex aus dem Index, und das setzt voraus, dass der Crawler die Seite lesen darf; ist sie entfernt, tun das auch ein 404 oder 410.

Das Ergebnis ist ein Richtwert und ersetzt keine Beratung.

Erzeugt eine robots.txt aus Ihren Regeln — und sagt, was die Datei nicht kann.

Die robots.txt liegt im Wurzelverzeichnis und sagt Crawlern, welche Pfade sie abrufen dürfen. Sie ist eine Bitte, kein Zaun: Google, Bing und Yandex halten sich daran, ein beliebiges Skript muss es nicht.

Der Generator baut die Datei aus Ihren Angaben und weist auf die Stellen hin, an denen es regelmäßig schiefgeht — allen voran auf die eine, an der sich fast jeder einmal verrechnet: Disallow verbietet das Abrufen, nicht das Anzeigen.

So benutzen Sie den Rechner

Wählen Sie die Grundeinstellung — offen, gesperrt oder eigene Regeln.
Tragen Sie die gesperrten Pfade ein, einen je Zeile, und die Adresse der Sitemap vollständig mit https://.
Prüfen Sie unten einen Pfad, über den Sie sich unsicher sind: Der Rechner nennt die Regel, die für ihn gewinnt.
Legen Sie die Datei unverändert als /robots.txt in das Wurzelverzeichnis — in einem Unterordner liest sie niemand.

Welche Regel für einen Pfad gewinnt

Eine robots.txt wird nicht von oben nach unten abgearbeitet. Es gewinnt das längste Muster, das auf den Pfad passt, und bei gleicher Länge das Allow — so steht es in RFC 9309. Deshalb lässt sich ab der dritten Regel kaum noch im Kopf entscheiden, ob eine Adresse gesperrt ist.

Die vierte Zeile ist die, an der die Intuition scheitert. „/admin“ sperrt den Bereich, „/admin/hilfe“ ist zwölf Zeichen lang und damit spezifischer — die Hilfe bleibt offen, obwohl das Disallow weiter oben steht.

Alle Zeilen stammen aus dem Rechner dieser Seite, geprüft über das untere Feld. Der Stern steht für beliebig viele beliebige Zeichen, das Dollarzeichen für das Ende des Pfades: Ohne das $ würde die letzte Regel auch /preise.pdf.html sperren.
Geprüfter Pfad	Regeln in der Datei	Ergebnis
/admin/login	Disallow: /admin	gesperrt
/suche?q=schuhe	Disallow: /suche	gesperrt
/blog/beitrag	keine trifft zu	erlaubt
/admin/hilfe/faq	Disallow: /admin + Allow: /admin/hilfe	erlaubt — das längere Muster gewinnt
/prospekt/preise.pdf	Disallow: /*.pdf$	gesperrt

Was in der Datei stehen darf und wer es liest

Die Sprache der robots.txt ist klein: fünf Zeilenarten, mehr gibt es nicht. Alles, was darüber hinaus in Anleitungen kursiert, ist entweder ein Vorschlag geblieben oder wird von Google nicht ausgewertet.

Die letzte Zeile der Tabelle ist die wichtigste Falle. Ein „Noindex“ in der robots.txt war nie eine unterstützte Regel, und Google hat die Verarbeitung solcher Zeilen zum 1. September 2019 eingestellt. Wer eine Seite aus dem Index nehmen will, braucht das Meta-Tag robots oder den Header X-Robots-Tag — und dafür muss die Seite abrufbar bleiben.

Genau diese Zeilen schreibt der Rechner — mit einer Ausnahme: Noindex steht nicht darin, weil es dort nie hingehörte. Crawl-delay schreibt er nur, wenn Sie eine Zahl größer null eintragen, und weist dann darauf hin, dass Google sie nicht liest.
Zeile	Was sie bewirkt	Google	Bing
User-agent: *	auf welche Crawler die folgenden Zeilen zutreffen	wertet aus	wertet aus
Disallow: /pfad	der Crawler lädt den Pfad nicht herunter	wertet aus	wertet aus
Allow: /pfad	Ausnahme innerhalb eines gesperrten Bereichs	wertet aus	wertet aus
Sitemap: https://…	wo die Sitemap liegt	wertet aus	wertet aus
Crawl-delay: 5	Pause zwischen zwei Abrufen	wertet nicht aus	wertet aus
Noindex: /pfad	war nie Standard	ignoriert	ignoriert

Disallow ist kein noindex

Eine per Disallow gesperrte Seite darf der Crawler nicht herunterladen. In der Trefferliste kann sie trotzdem auftauchen, wenn andere Seiten auf sie verlinken — dann steht dort die URL, oft mit dem Hinweis, dass keine Beschreibung verfügbar ist. Der Ausschluss aus dem Index gelingt so gerade nicht.

Aus dem Index nimmt eine Seite nur noindex, entweder als Meta-Tag im Kopf der Seite oder als X-Robots-Tag im HTTP-Header. Und damit der Crawler dieses noindex überhaupt sieht, muss er die Seite abrufen dürfen. Beides gleichzeitig — Disallow und noindex — hebt sich also auf. Wer eine Seite sicher aus der Suche halten will, lässt sie crawlen und setzt noindex; wer sie vor Fremden schützen will, braucht ein Passwort, keine Textdatei.

Was in der Datei stehen darf

Eine Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, darunter folgen beliebig viele Disallow- und Allow-Zeilen. Trifft mehr als eine Regel zu, gewinnt bei Google die längere, also die genauere — deshalb kann ein Allow für /admin/oeffentlich ein Disallow für /admin sinnvoll durchbrechen. Ein Stern innerhalb des Pfades steht für beliebige Zeichen, ein Dollarzeichen am Ende für das Ende der URL.

Die Sitemap-Zeile gehört nicht zu einem User-agent-Block und braucht eine vollständige Adresse mit Protokoll. Crawl-delay ist eine Erfindung außerhalb der ursprünglichen Spezifikation, und von den großen Suchmaschinen wertet sie heute nur noch Bing aus. Yandex hat sie im Februar 2018 abgeschafft; dort stellt man die Abrufrate in Yandex.Webmaster ein. Google hat sie nie ausgewertet und 2019 ausdrücklich festgehalten, dass es dabei bleibt — die Einstellung zur Crawling-Frequenz in der Search Console wurde Anfang 2024 abgeschaltet, seither regelt der Googlebot das Tempo selbst.

Die Datei ist öffentlich

Jeder kann example.de/robots.txt aufrufen, und viele tun das gezielt. Ein Eintrag wie „Disallow: /admin-geheim“ ist damit kein Schutz, sondern ein Wegweiser: Er nennt genau den Pfad, den man verbergen wollte.

Verzeichnisse, die niemand sehen soll, gehören hinter eine Anmeldung. In der robots.txt stehen sinnvollerweise Bereiche, deren Existenz ohnehin bekannt ist und die nur unnötig Crawl-Budget kosten — Suchergebnisseiten, Warenkörbe, Filterkombinationen, Druckansichten.

Quellen

Stand der Werte: 2026. Die Ergebnisse sind Orientierungswerte und ersetzen keine fachliche Beratung.

Häufige Fragen

Verschwindet eine Seite aus Google, wenn ich sie per Disallow sperre?

Nein, eher im Gegenteil. Der Crawler darf sie dann nicht mehr lesen und sieht auch kein noindex. Verlinkt jemand die Seite, kann sie ohne Beschreibung in der Trefferliste erscheinen. Zum Entfernen setzen Sie noindex und lassen die Seite crawlbar.

Brauche ich überhaupt eine robots.txt?

Zwingend nicht — fehlt sie, gilt alles als erlaubt. Sinnvoll ist sie, sobald es Bereiche gibt, deren Abruf nur Rechenzeit kostet, und um die Sitemap bekannt zu machen. Ein 404 auf robots.txt ist kein Fehler, ein 500 dagegen kann dazu führen, dass Google vorsichtshalber gar nicht crawlt.

Wie sperre ich nur einen bestimmten Crawler?

Mit einem eigenen Block für dessen User-agent. Tragen Sie statt des Sterns etwa GPTBot ein und darunter die Regeln. Passende Gruppen für denselben Crawler werden zusammengeführt; die allgemeine Gruppe mit dem Stern gilt für ihn nur, wenn keine spezifische passt.

Gilt die erste passende Regel oder die letzte?

Weder noch: die längste. Bei zwei Regeln gleicher Länge setzt sich Allow durch. Die Reihenfolge der Zeilen in der Datei spielt keine Rolle — deshalb hilft es nicht, ein Allow nach hinten zu schieben, und deshalb zeigt der Rechner die gewinnende Regel ausdrücklich an.

Was bedeuten * und $ in einem Pfad?

Der Stern steht für beliebig viele beliebige Zeichen, das Dollarzeichen für das Ende des Pfades. „/*.pdf$“ sperrt damit jede PDF-Datei, aber nicht eine Adresse, die auf .pdf.html endet. Beide Zeichen versteht Google; im ursprünglichen Standard von 1994 waren sie nicht vorgesehen.

Zählt der Query-String mit?

Ja. Geprüft wird alles ab dem Schrägstrich einschließlich Fragezeichen und Parametern, deshalb sperrt „/suche“ auch /suche?q=schuhe. Wer nur eine bestimmte Parameterform sperren will, braucht dafür ein Muster mit Stern, etwa „/*?sortierung=“.

Nützliche Links

Entwicklung und Web Alle Rechner

robots.txt-Generator

Ergebnis

Passt dazu

Weiterleitungs-Generator

HTTP-Statuscodes

Title und Meta-Description prüfen

Open-Graph-Generator

URL-Kodierer

FAQ-Schema-Generator

Nützliche Links