Was ist die robots.txt? Aufbau, Regeln und typische Fehler

Dieser letzte Satz ist der Grund, warum die Datei so häufig falsch eingesetzt wird. Google schreibt es in der eigenen Einführung direkt hin: Eine robots.txt-Datei ist nicht dafür da, Webseiten aus der Suche auszuschließen; wer das will, blockiert die Indexierung mit noindex oder schützt die Seite mit einem Passwort. Ist eine Seite per robots.txt gesperrt, kann ihre URL weiterhin in den Ergebnissen erscheinen — nur eben ohne Beschreibung, weil der Inhalt nie gelesen wurde.

Wofür die Datei gedacht ist

Ihre eigentliche Aufgabe ist die Verwaltung des Crawler-Traffics. Sinnvolle Einsätze sind übersichtlich:

• Serverlast begrenzen, wenn Crawler-Anfragen den Server belasten.
• Unwichtige oder nahezu identische Seiten vom Crawling ausnehmen — Filter- und Sortier-URLs, interne Suchergebnisse, endlose Kalenderansichten.
• Bild-, Video- und Audiodateien vom Abruf ausschließen, damit sie nicht in der Suche erscheinen.
• Auf die Sitemap verweisen.

Und ein ausdrücklicher Gegen-Hinweis aus derselben Quelle: Ressourcendateien wie Skripte und Stylesheets darf man sperren, solange die Seite ohne sie verständlich bleibt. Führt das Fehlen dieser Ressourcen dazu, dass Google die Seite schlechter versteht, richtet die Sperre Schaden an. Das betrifft moderne JavaScript-Frontends besonders.

Aufbau und Syntax

Eine gültige Zeile besteht aus einem Feld, einem Doppelpunkt und einem Wert. Feldnamen sind unabhängig von Groß- und Kleinschreibung, die Werte nicht — /Presse/ und /presse/ sind zwei verschiedene Pfade. Kommentare beginnen mit #.

# Alle Crawler: interne Suche und Warenkorb bleiben draußen
User-agent: *
Disallow: /suche
Disallow: /warenkorb

# Googlebot braucht die Assets zum Rendern
User-agent: Googlebot
Allow: /assets/

Sitemap: https://www.example.com/sitemap.xml

Feld	Bedeutung
user-agent	für welchen Crawler die folgende Gruppe gilt
disallow	Pfad, der nicht gecrawlt werden darf
allow	Pfad, der ausdrücklich erlaubt ist (schlägt eine weniger spezifische Sperre)
sitemap	absolute URL einer Sitemap; beliebig oft, an keinen User-Agent gebunden

Regeln ohne Pfad werden ignoriert. Das sitemap-Feld wird von Google, Bing und anderen großen Suchmaschinen unterstützt und darf auf einen anderen Host zeigen als die robots.txt selbst.

Welche Regel gewinnt

Crawler verwenden die Regel, die gemessen an der Länge des Regelpfads am spezifischsten ist. Bei einem echten Widerspruch — einschließlich Regeln mit Platzhaltern — wählt Google die am wenigsten restriktive. Aus Disallow: / und Allow: /blog/ folgt also: alles gesperrt außer dem Blog. Ein Crawler sucht sich außerdem die spezifischste passende User-Agent-Gruppe; existiert für seinen Namen keine eigene, gilt die Gruppe mit dem Stern.

Ort, Grenzen und Fehlerfälle

Die Datei muss im Stammverzeichnis liegen und gilt nur für genau dieses Protokoll, diesen Host und diesen Port. https://example.com/robots.txt regelt nichts für https://shop.example.com und nichts für Port 8181. Weitere Eckwerte aus Googles Spezifikation:

• Maximal 500 KiB. Alles darüber wird ignoriert.
• Cache bis zu 24 Stunden. Eine Änderung wirkt nicht sofort.
• Weiterleitungen: Google folgt mindestens fünf Hops und behandelt die Datei danach wie einen 404.
• 4xx (außer 429) wird behandelt, als gäbe es keine robots.txt — es gelten dann keine Einschränkungen.
• 5xx ist der gefährliche Fall: In den ersten zwölf Stunden stoppt Google das Crawling der Website, verwendet danach bis zu dreißig Tage lang die letzte fehlerfreie Version — und wenn keine im Cache liegt, geht Google davon aus, dass es keine Einschränkungen gibt.

robots.txt oder noindex?

Die beiden werden ständig verwechselt, obwohl sie an völlig verschiedenen Stellen ansetzen. Eine per robots.txt gesperrte Seite wird vom Crawler gar nicht erst aufgerufen; ihre Inhalte und die dort vorhandenen Links bleiben der Suchmaschine verborgen. Eine Seite mit noindex wird dagegen gecrawlt, aber nicht in den Index aufgenommen — und die dort gefundenen Links werden auf Dauer nicht mehr gewertet.

Daraus folgt die Regel, die man sich merken muss: Wer eine Seite aus der Suche halten will, darf sie nicht per robots.txt sperren. Denn ein gesperrter Crawler kann das noindex nicht lesen. Die Seite muss abrufbar bleiben, damit die Anweisung ankommt. Wie das zusammenspielt, steht ausführlicher unter Indexierung.

Ziel	Werkzeug
Crawl-Aufwand auf unwichtigen URLs senken	robots.txt
Seite soll nicht in den Suchergebnissen erscheinen	noindex, Seite crawlbar lassen
Inhalt vertraulich halten	Passwortschutz oder Serverkonfiguration
Doppelte Inhalte zusammenführen	Canonical Tag

Typische Fehler

Die Staging-Sperre geht live. Disallow: / aus der Testumgebung landet mit dem Deployment auf der Produktionsdomain. Der Effekt zeigt sich erst Tage später als stiller Rankingverlust. Das ist der teuerste Fehler dieser Liste und der häufigste.

Sperre statt Deindexierung. Eine bereits indexierte Seite wird per robots.txt gesperrt, damit sie verschwindet. Sie verschwindet nicht — sie bleibt als URL ohne Beschreibung stehen.

Vertrauliches per Disallow. Die robots.txt ist öffentlich lesbar. Ein gesperrter Pfad /interne-preisliste/ ist eine Einladung, keine Absicherung. Crawler sind ohnehin nicht verpflichtet, die Angaben zu befolgen; nur die seriösen tun es.

Assets gesperrt. Blockierte CSS- und JS-Dateien führen dazu, dass Google eine kaputte Seite rendert und entsprechend bewertet.

Groß- und Kleinschreibung übersehen. Der Wert ist case-sensitiv, der Feldname nicht — eine Fehlerquelle, die man beim Lesen nicht sieht.

So macht es Xerx

Die robots.txt gehört bei uns zu „Crawling und Indexierung" und damit in dieselbe Arbeit wie Crawl-Budget, XML-Sitemaps und Logfile-Analyse. Das Ziel ist nüchtern formuliert: Google soll seine Besuche auf den Seiten verbringen, die Geld verdienen, und nicht auf denen, die niemand braucht. Wie wir das angehen, steht unter Technisches SEO.

Bei jedem Relaunch steht die Datei auf der Checkliste, die vor dem Livegang abgehakt wird — gemeinsam mit Sitemap, Canonicals und hreflang. Genau dort wird die Staging-Sperre gefunden, und das ist der einzige Zeitpunkt, an dem sie nichts kostet. Nach dem Livegang beobachten wir die Search Console erst täglich, dann wöchentlich, weil eine falsche Zeile in dieser Datei sich zuerst als Crawling-Anomalie zeigt und erst Wochen später als Umsatzproblem.

Ehrlich zur Größenordnung: Für die meisten Firmenwebsites ist die robots.txt eine Datei mit fünf Zeilen, die einmal richtig geschrieben und danach in Ruhe gelassen wird. Aufwendig wird sie erst bei Shops mit Filter-URLs oder bei Portalen mit generierten Seiten. Wir bauen sie deshalb generiert und versioniert mit der Website aus — auf dieser Website hier erzeugt der Code die robots-Ausgabe zusammen mit der Sitemap, sodass eine händische Änderung am Server gar nicht erst nötig ist.

FAQ