Die robots.txt liegt im Wurzelverzeichnis und sagt Crawlern, welche Pfade sie abrufen dürfen. Sie ist eine Bitte, kein Zaun: Google, Bing und Yandex halten sich daran, ein beliebiges Skript muss es nicht.
Der Generator baut die Datei aus Ihren Angaben und weist auf die Stellen hin, an denen es regelmäßig schiefgeht — allen voran auf die eine, an der sich fast jeder einmal verrechnet: Disallow verbietet das Abrufen, nicht das Anzeigen.
Disallow ist kein noindex
Eine per Disallow gesperrte Seite darf der Crawler nicht herunterladen. In der Trefferliste kann sie trotzdem auftauchen, wenn andere Seiten auf sie verlinken — dann steht dort die URL, oft mit dem Hinweis, dass keine Beschreibung verfügbar ist. Der Ausschluss aus dem Index gelingt so gerade nicht.
Aus dem Index nimmt eine Seite nur noindex, entweder als Meta-Tag im Kopf der Seite oder als X-Robots-Tag im HTTP-Header. Und damit der Crawler dieses noindex überhaupt sieht, muss er die Seite abrufen dürfen. Beides gleichzeitig — Disallow und noindex — hebt sich also auf. Wer eine Seite sicher aus der Suche halten will, lässt sie crawlen und setzt noindex; wer sie vor Fremden schützen will, braucht ein Passwort, keine Textdatei.
Was in der Datei stehen darf
Pro Block ein User-agent, darunter beliebig viele Disallow- und Allow-Zeilen. Trifft mehr als eine Regel zu, gewinnt bei Google die längere, also die genauere — deshalb kann ein Allow für /admin/oeffentlich ein Disallow für /admin sinnvoll durchbrechen. Ein Stern innerhalb des Pfades steht für beliebige Zeichen, ein Dollarzeichen am Ende für das Ende der URL.
Die Sitemap-Zeile gehört nicht zu einem User-agent-Block und braucht eine vollständige Adresse mit Protokoll. Crawl-delay ist eine Erfindung außerhalb der ursprünglichen Spezifikation, und von den großen Suchmaschinen wertet sie heute nur noch Bing aus. Yandex hat sie im Februar 2018 abgeschafft; dort stellt man die Abrufrate in Yandex.Webmaster ein. Google hat sie nie ausgewertet und 2019 ausdrücklich festgehalten, dass es dabei bleibt — die Einstellung zur Crawling-Frequenz in der Search Console wurde Anfang 2024 abgeschaltet, seither regelt der Googlebot das Tempo selbst.
Die Datei ist öffentlich
Jeder kann example.de/robots.txt aufrufen, und viele tun das gezielt. Ein Eintrag wie „Disallow: /admin-geheim“ ist damit kein Schutz, sondern ein Wegweiser: Er nennt genau den Pfad, den man verbergen wollte.
Verzeichnisse, die niemand sehen soll, gehören hinter eine Anmeldung. In der robots.txt stehen sinnvollerweise Bereiche, deren Existenz ohnehin bekannt ist und die nur unnötig Crawl-Budget kosten — Suchergebnisseiten, Warenkörbe, Filterkombinationen, Druckansichten.