Ein E-Commerce-Website mit mehreren tausend Referenzen fügt jede Woche Produktseiten hinzu, aber Google crawlt nur einen Bruchteil der neuen URLs. Das Problem liegt nicht am Inhalt oder am internen Linking. Die über die Search Console eingereichte XML-Sitemap enthält umgeleitete Seiten, URLs im Noindex und parametrisierte Duplikate. Die Suchmaschine erhält ein verwirrendes Signal und verlangsamt ihr Crawling.
Die Optimierung der Sitemap-Seite einer Website beschränkt sich nicht darauf, eine Datei zu generieren und sie zu vergessen. Es handelt sich um ein Steuerungsinstrument, das, wenn es schlecht gewartet wird, das Crawl-Budget verschwendet, anstatt es auf die wichtigen Seiten zu konzentrieren.
Kohärenz zwischen XML-Sitemap, kanonischem Tag und Indexierungsanweisung
Der erste Fehler, den man im Feld antrifft, ist die Inkohärenz zwischen dem, was die Sitemap erklärt, und dem, was die Seite über sich selbst sagt. Eine im Sitemap aufgelistete URL sollte immer einen HTTP-Statuscode 200 zurückgeben, ihr eigenes kanonisches Tag tragen und keine Noindex-Anweisung enthalten.
Wenn man eine umgeleitete URL (301 oder 302) einreicht, muss die Suchmaschine der Umleitung folgen, bevor sie entscheidet, ob sie das Ziel indexiert. Diese Umleitung verbraucht Crawl-Budget ohne Nutzen. Dasselbe gilt für gelöschte Seiten, die einen 404 zurückgeben, oder für URLs mit Parametern, die bereits unter einer anderen Form indexierten Inhalt duplizieren.
Dieses Prinzip kann mit der Sitemap-Seite von Bargento veranschaulicht werden, die ihre URLs so strukturiert, dass nur zugängliche Seiten aufgelistet werden, die tatsächlich für die Indexierung bestimmt sind. Diese Art von Strenge verhindert, dass Rauschen an die Bots gesendet wird.
- Jede URL in der Sitemap muss die kanonische Version der Seite sein, die Sie in den Suchergebnissen sehen möchten.
- Seiten, die durch robots.txt blockiert, im Noindex sind oder umgeleitet werden, haben in der Datei nichts zu suchen.
- Parametrisierte URLs (Filter, Sortierungen, Sitzungen) sollten ausgeschlossen werden, es sei denn, sie zielen auf einzigartigen und indexierbaren Inhalt ab.
In der Praxis enthält eine saubere Sitemap nur indexierbare URLs mit HTTP 200. Wenn Ihre Datei mehrere Hundert mehr enthält als Ihre Anzahl an in der Search Console indexierten Seiten, ist das ein Warnsignal.
Lastmod-Tag der Sitemap: nützliches Signal oder technisches Rauschen
Viele CMS aktualisieren das Lastmod-Datum bei jeder Regenerierung der Sitemap, selbst wenn sich der Inhalt der Seite nicht geändert hat. Google hat diesen Punkt klargestellt: Der Lastmod-Wert ist nur von Interesse, wenn er eine tatsächliche redaktionelle Änderung widerspiegelt.
Wenn Sie einen Artikel republizieren, nachdem Sie einen Fehler im Footer korrigiert haben, ist das keine signifikante Änderung. Wenn Sie jedoch einen Leitfaden mit neuen Daten aktualisieren oder eine Produktseite umstrukturieren, sollte das Lastmod-Datum dieser Aktualisierung entsprechen.
Lastmod mit strukturierten Daten synchronisieren
Die Kohärenz geht über die Sitemap hinaus. Das Lastmod-Datum muss mit dem auf der Seite angezeigten Aktualisierungsdatum und dem Feld dateModified in Ihren strukturierten Daten (schema.org) übereinstimmen. Wenn diese drei Signale übereinstimmen, hat die Suchmaschine einen zuverlässigen Indikator für Frische. Wenn sie abweichen, verliert das Signal an Glaubwürdigkeit.
In diesem Punkt variieren die Rückmeldungen: Einige SEO-Experten stellen nach der Korrektur von Lastmod ein schnelleres Crawlen fest, andere bemerken keinen nennenswerten Unterschied. Sicher ist, dass ein falsches oder automatisches Lastmod niemanden täuscht.
Sitemap-Index und Segmentierung der URLs für große Websites
Über einige Hundert Seiten hinaus wird eine einzelne Sitemap-Datei schwer zu nutzen, sowohl für Sie als auch für die Suchmaschinen. Die Segmentierung in mehrere untergeordnete Dateien, die unter einem Sitemap-Index organisiert sind, ermöglicht eine viel genauere Diagnose.
Die Idee ist einfach: URLs werden nach Inhaltstyp gruppiert. Eine Datei für Produktseiten, eine für Blogartikel, eine für Kategorieseiten. Diese Organisation ermöglicht es, sofort in den Abdeckungsberichten der Search Console zu erkennen, welches Segment Probleme verursacht.
Die Sitemap in ein Diagnosewerkzeug umwandeln
In den Bing Webmaster-Tools ermöglichen die Abdeckungsberichte die Überprüfung der im Sitemap bekannten URLs und der Gründe für die Nicht-Indexierung. Diese Funktion verwandelt die Sitemap in ein operatives Kontrollinstrument zur Erkennung blockierter oder unbeabsichtigt ausgeschlossener Seiten.
Die Google Search Console bietet einen ähnlichen Bericht. Der Vergleich der Anzahl der eingereichten URLs mit der Anzahl der indexierten URLs pro Sitemap-Datei zeigt die Abweichungen auf. Eine untergeordnete Sitemap-Datei mit einer niedrigen Indexierungsrate signalisiert ein strukturelles Problem in diesem Segment (duplizierter Inhalt, unzureichendes Linking, Qualität, die als niedrig wahrgenommen wird).
XML-Sitemap und IndexNow kombinieren, um die Indexierung zu beschleunigen
Die XML-Sitemap funktioniert wie ein permanentes Inventar. Die Suchmaschinen konsultieren sie regelmäßig, in ihrem eigenen Tempo. Für Websites, deren Inhalt sich häufig ändert (redaktionell, Marktplatz, Katalog), kann dieses Tempo unzureichend sein.
IndexNow ergänzt die Sitemap, indem es Änderungen in Echtzeit an die Suchmaschinen, die das Protokoll unterstützen (Bing, Yandex und andere), meldet. Anstatt darauf zu warten, dass der Bot vorbeikommt, senden wir ihm einen Ping für jede erstellte, geänderte oder gelöschte URL.
Die beiden Werkzeuge ersetzen sich nicht. Die Sitemap bleibt die Referenz für das gesamte Inventar. IndexNow dient als sofortige Benachrichtigung. Auf einer E-Commerce-Website, die täglich Dutzende von Produktseiten hinzufügt, reduziert diese Kombination die Zeitspanne zwischen Veröffentlichung und Berücksichtigung durch die Suchmaschine.
Konkrete Umsetzung
- Generieren Sie einen IndexNow-API-Schlüssel und platzieren Sie ihn im Stammverzeichnis der Website in einer Textdatei mit dem Namen des Schlüssels.
- Konfigurieren Sie das CMS oder die Bereitstellungspipeline, um bei jeder Erstellung oder Änderung einer Seite einen IndexNow-Aufruf zu senden.
- Halten Sie die XML-Sitemap parallel aktuell, mit zuverlässigen Lastmod-Daten, damit die Suchmaschinen, die IndexNow nicht unterstützen, ein Frischsignal erhalten.
Die Sitemap und IndexNow decken zwei verschiedene Zeiträume ab: das permanente Inventar und die einmalige Benachrichtigung. Die Nutzung beider erhöht die Indexierungsabdeckung, ohne ausschließlich von der natürlichen Crawlfrequenz abhängig zu sein.
Eine gut segmentierte Sitemap, die von unnötigen URLs bereinigt und mit den technischen Signalen der Seite synchronisiert ist, hat nichts Spektakuläres. Es ist eine regelmäßige Wartungsarbeit, keine einmalige Einstellung. Jede eingereichte URL muss ihren Platz in der Datei verdienen, andernfalls verwässern wir die Aufmerksamkeit des Bots auf Seiten, die niemals zur Suchmaschinenoptimierung beitragen werden.
