Crawling und Indexierung bei Google: Was es bedeutet und wie lange es dauert

Vor der Indexierung steht immer das Crawling — das Abrufen der Seite durch ein automatisches Programm. Beide Wörter werden im Alltag durcheinandergeworfen, bezeichnen aber zwei verschiedene Vorgänge, und fast jedes Sichtbarkeitsproblem lässt sich genau einem der beiden zuordnen.

Die drei Phasen der Google Suche

Google beschreibt den Weg einer Seite in seiner eigenen Dokumentation als drei Phasen — mit dem ausdrücklichen Hinweis, dass nicht jede Seite alle drei durchläuft.

Phase	Was passiert	Was schiefgehen kann
Crawling	Automatische Programme laden Text, Bilder und Videos herunter	Serverfehler, Netzwerkprobleme, Sperren in der robots.txt
Indexierung	Google analysiert die Inhalte und speichert sie im Index	dünne Inhalte, noindex, eine Websitestruktur, die es erschwert
Bereitstellung	Google liefert zu einer Anfrage passende Ergebnisse aus	Inhalt ist für die Anfrage nicht relevant oder von geringer Qualität

Crawling

Es gibt kein zentrales Verzeichnis aller Webseiten. Google muss neue und geänderte Adressen deshalb laufend selbst finden — ein Vorgang, den Google „URL-Erkennung" nennt. Neue URLs werden auf drei Wegen entdeckt: Sie waren schon einmal bekannt, Google findet einen Link von einer bekannten Seite darauf, oder sie stehen in einer eingereichten Sitemap.

Das Programm, das die Seiten abruft, heißt Googlebot. Wie oft und wie tief es eine Website besucht, entscheidet ein algorithmischer Prozess; die Crawler sind ausdrücklich so gebaut, dass sie eine Website nicht überlasten — Serverfehler vom Typ 500 wirken für sie wie das Signal „langsamer".

Wichtig für moderne Websites: Google rendert die Seite beim Crawling und führt dabei den gefundenen JavaScript-Code aus, mit einer aktuellen Chrome-Version. Ohne diesen Schritt bliebe der Inhalt vieler Anwendungen unsichtbar — und wenn er fehlschlägt, sieht Google eine leere Seite, obwohl der Besucher eine volle sieht.

Indexierung

Nach dem Abruf versucht Google zu verstehen, worum es geht: Textinhalte, Titel, Alt-Attribute, Bilder und Videos werden verarbeitet. In derselben Phase entscheidet Google, ob die Seite ein Duplikat ist. Dazu bildet Google Cluster aus ähnlichen Seiten und wählt daraus die kanonische Seite — jene, die in den Ergebnissen erscheinen darf. Wie man diese Auswahl beeinflusst, steht unter Canonical Tag.

Der entscheidende Satz steht ebenfalls in Googles Dokumentation: Die Indexierung wird nicht garantiert. Nicht jede verarbeitete Seite landet im Index — und Google garantiert generell weder Crawling noch Indexierung noch Ausspielung, selbst wenn eine Seite alle technischen Anforderungen erfüllt.

Bereitstellung

Erst hier entsteht, was Nutzer als Ranking wahrnehmen. Eine Seite kann laut Search Console indexiert sein und trotzdem nicht auftauchen — weil sie für die Anfrage nicht relevant ist, weil ihre Qualität niedrig eingeschätzt wird oder weil eine Robots-Regel die Ausspielung verhindert.

Warum eine Seite nicht indexiert wird

• Sie ist gar nicht erreichbar. Serverfehler, Timeouts, ein Login davor.
• Die robots.txt sperrt den Abruf. Dann wird die Seite nicht gelesen — Details unter robots.txt.
• Eine noindex-Regel ist gesetzt. Häufig ein Überbleibsel aus der Entwicklungsphase.
• Google hat eine andere Seite als kanonisch gewählt. Die Search Console meldet das als „Duplikat".
• Der Inhalt ist zu dünn. Google nennt geringe Inhaltsqualität ausdrücklich als typischen Indexierungsgrund.
• Niemand verlinkt sie. Verwaiste Seiten ohne interne Verlinkung und ohne Sitemap-Eintrag werden unter Umständen nie gefunden.

noindex: die Seiten, die bewusst draußen bleiben

Nicht jede Seite gehört in den Index. Interne Suchergebnisse, Danke-Seiten, Filterkombinationen, Testumgebungen — sie kosten Crawling-Aufwand und verwässern das Bild der Website. Google unterstützt dafür zwei Wege:

<meta name="robots" content="noindex">

und alternativ den HTTP-Header X-Robots-Tag: noindex, der auch für Nicht-HTML-Dateien wie PDFs funktioniert. Wer nur die Google-Crawler ausschließen will, schreibt googlebot statt robots.

Zwei Dinge muss man dabei wissen. Erstens: Eine noindex-Regel in der robots.txt wird von Google nicht unterstützt. Zweitens — und das ist der häufigste Fehler überhaupt: Damit Google die Regel sehen kann, muss die Seite gecrawlt werden dürfen. Wer eine Seite gleichzeitig per robots.txt sperrt und mit noindex versieht, hebt die zweite Regel mit der ersten auf; die URL kann weiterhin in den Ergebnissen stehen.

Wie lange dauert die Indexierung bei Google?

Es gibt keine Frist, und jede genannte Zahl ist ein Erfahrungswert. Was Google selbst schreibt:

• Nach einer Anfrage über das URL-Prüftool oder eine eingereichte Sitemap kann das Crawling einige Tage bis mehrere Wochen dauern.
• Eine Crawling-Anfrage ist keine Garantie, dass die Seite aufgenommen wird; Googles Systeme priorisieren hochwertige und nützliche Inhalte.
• Mehrfaches Anfragen derselben URL beschleunigt nichts — für Einzeleinreichungen gilt zudem ein Kontingent.
• Für den umgekehrten Fall nennt Google eine Größenordnung: Bis der Googlebot eine Seite erneut besucht und ein neu gesetztes noindex bemerkt, kann es je nach Bedeutung der Seite mehrere Monate dauern.

Praktisch heißt das: Bei etablierten Websites mit häufigen Änderungen sind einzelne Tage üblich. Bei einer neuen Domain ohne Verlinkung kann es Wochen dauern, bis die ersten Seiten erscheinen — und das ist kein Fehler, sondern der Normalfall.

Wie man den Status prüft

Der einzige verlässliche Ort ist die Google Search Console: Der Bericht „Seitenindexierung" zeigt indexierte und nicht indexierte Seiten samt Grund, das URL-Prüftool den Status einer einzelnen Adresse — inklusive des HTML-Codes, den der Googlebot tatsächlich erhalten hat.

Die früher übliche Abfrage mit dem site:-Operator taugt dafür nicht mehr. SISTRIX weist darauf hin, dass sich die Zahl indexierter Seiten seit 2023 nicht mehr über die Google-Suche ermitteln lässt; die angezeigte Trefferzahl war ohnehin immer eine grobe Schätzung.

So macht es Xerx

Bei uns beginnt jedes SEO-Projekt mit dieser Ebene, weil alles andere darauf aufbaut: Ein Text, den Google nicht liest, ist kein Text. Wir crawlen die Website so, wie Google es tut, ziehen die Search-Console-Daten dazu und vergleichen, was indexiert sein sollte, mit dem, was tatsächlich im Index ist. Aus der Differenz entsteht die Arbeitsliste — nicht aus einem Tool-Export mit 300 Warnungen. Das ist der Kern von technischem SEO.

Häufigster Befund in Bestandsprojekten sind nicht exotische Fehler, sondern drei Klassiker: ein noindex, das vom Testsystem mitgewandert ist, eine robots.txt, die mehr sperrt als gedacht, und JavaScript-Rendering, bei dem Google eine andere Seite sieht als der Besucher. Weil wir Websites selbst bauen, beheben wir das im Code und nicht in einem Empfehlungsdokument.

Ehrlich zur Grenze: Indexierung lässt sich nicht erzwingen. Wir können sicherstellen, dass eine Seite erreichbar, eindeutig, verlinkt und in der Sitemap ist — die Aufnahme in den Index entscheidet Google. Wer eine garantierte Indexierung innerhalb von 24 Stunden verkauft, verkauft entweder Zufall oder einen Dienst, den Google ausdrücklich nicht anbietet.

FAQ