Een e-commerce site met duizenden referenties voegt elke week productpagina’s toe, maar Google crawlt slechts een fractie van de nieuwe URL’s. Het probleem ligt niet bij de inhoud of de interne linkstructuur. De XML-sitemap die via Search Console is verzonden, bevat omgeleide pagina’s, URL’s in noindex en geconfigureerde duplicaten. De zoekmachine ontvangt een verstoord signaal en vertraagt zijn verkenning.
Het optimaliseren van de sitemappagina van een site is niet alleen het genereren van een bestand en het vergeten ervan. We spreken hier van een stuurinstrument dat, als het slecht onderhouden wordt, het crawlbudget verspilt in plaats van het te concentreren op de pagina’s die ertoe doen.
Consistentie tussen XML-sitemap, canonieke tag en indexeringsrichtlijn
De eerste fout die we op het terrein tegenkomen, is de inconsistentie tussen wat de sitemap verklaart en wat de pagina over zichzelf zegt. Een URL die in de sitemap is vermeld, zou altijd een HTTP 200-code moeten retourneren, zijn eigen canonieke tag moeten hebben en geen noindex-richtlijn mogen bevatten.
Wanneer we een omgeleide URL (301 of 302) indienen, moet de zoekmachine de omleiding volgen voordat hij beslist of hij de bestemming indexeert. Deze omweg verbruikt crawlbudget zonder voordeel. Dezelfde logica geldt voor verwijderde pagina’s die een 404 retourneren, of voor URL’s met parameters die inhoud dupliceren die al op een andere manier is geïndexeerd.
We kunnen dit principe illustreren met de sitemappagina van Bargento, die zijn URL’s zo structureert dat alleen toegankelijke pagina’s die daadwerkelijk bedoeld zijn voor indexering worden vermeld. Dit soort nauwkeurigheid voorkomt dat er ruis naar de robots wordt gestuurd.
- Elke URL in de sitemap moet de canonieke versie van de pagina zijn, die u in de zoekresultaten wilt zien verschijnen.
- Pagina’s die zijn geblokkeerd door robots.txt, in noindex staan of omgeleid zijn, hebben niets in het bestand te zoeken.
- Geparametriseerde URL’s (filters, sorteringen, sessies) moeten worden uitgesloten, tenzij ze gericht zijn op unieke en indexeerbare inhoud.
In de praktijk bevat een schone sitemap alleen indexeerbare URL’s met HTTP 200. Als uw bestand er honderden meer bevat dan uw aantal geïndexeerde pagina’s in Search Console, is dat een waarschuwingssignaal.
Lastmod-tag van de sitemap: nuttig signaal of technische ruis
Veel CMS’en actualiseren de lastmod-datum bij elke regeneratie van de sitemap, zelfs als de inhoud van de pagina niet is veranderd. Google heeft dit punt verduidelijkt: de lastmod-waarde heeft alleen belang als deze een echte redactionele wijziging weerspiegelt.
Als u een artikel opnieuw publiceert nadat u een typefout in de footer heeft gecorrigeerd, is dat geen significante wijziging. Als u daarentegen een gids bijwerkt met nieuwe gegevens of een productpagina herstructureert, zou de lastmod-datum overeen moeten komen met deze update.
Lastmod synchroniseren met gestructureerde gegevens
Consistentie gaat verder dan de sitemap. De lastmod-datum moet overeenkomen met de datum van de update die op de pagina wordt weergegeven en met het veld dateModified in uw gestructureerde gegevens (schema.org). Wanneer deze drie signalen overeenkomen, heeft de zoekmachine een betrouwbare indicatie van versheid. Wanneer ze afwijken, verliest het signaal alle geloofwaardigheid.
Over dit punt variëren de reacties: sommige SEO-experts merken een snellere hercrawl op na correctie van lastmod, anderen zien geen merkbaar verschil. Wat zeker is, is dat een misleidende of automatische lastmod niemand bedriegt.
Sitemap-index en segmentatie van URL’s voor grote sites
Voor meer dan enkele honderden pagina’s wordt een enkel sitemapbestand moeilijk te exploiteren, zowel voor u als voor de zoekmachines. Segmentatie in meerdere subbestanden, georganiseerd onder een sitemap-index, maakt een veel nauwkeuriger diagnose mogelijk.
Het idee is eenvoudig: we groeperen de URL’s op type inhoud. Een bestand voor productpagina’s, een voor blogartikelen, een voor categoriepagina’s. Deze organisatie maakt het mogelijk om onmiddellijk in de dekkingsrapporten van Search Console te zien welk segment problemen vertoont.
De sitemap omzetten in een diagnostisch hulpmiddel
In Bing Webmaster Tools stellen de dekkingsrapporten u in staat om de bekende URL’s van de sitemap en de redenen voor niet-indexering te onderzoeken. Deze functionaliteit transformeert de sitemap in een operationeel controle-instrument om geblokkeerde pagina’s of onbedoeld uitgesloten pagina’s te detecteren.
Google Search Console biedt een vergelijkbaar rapport. Het vergelijken van het aantal ingediende URL’s met het aantal geïndexeerde URL’s per sitemapbestand onthult de discrepanties. Een sub-sitemapbestand met een lage indexeringsgraad wijst op een structureel probleem in dat segment (gedupliceerde inhoud, onvoldoende interne linkstructuur, kwaliteit die als laag wordt ervaren).
Sitemap XML en IndexNow combineren om de indexering te versnellen
De XML-sitemap fungeert als een permanent inventaris. Zoekmachines raadplegen deze periodiek, in hun eigen tempo. Voor sites waarvan de inhoud vaak verandert (redactioneel, marktplaats, catalogus), kan dit tempo onvoldoende zijn.
IndexNow aanvult de sitemap door wijzigingen in real-time aan de zoekmachines die het protocol ondersteunen (Bing, Yandex en anderen) te signaleren. In plaats van te wachten tot de robot langskomt, sturen we een ping voor elke URL die is gemaakt, gewijzigd of verwijderd.
De twee tools zijn geen vervanging voor elkaar. De sitemap blijft de referentie voor de totale inventaris. IndexNow fungeert als een onmiddellijke notificatie. Op een e-commerce site die dagelijks tientallen pagina’s toevoegt, vermindert deze combinatie de tijd tussen publicatie en opname door de zoekmachine.
Concreet implementeren
- Genereer een IndexNow API-sleutel en plaats deze in de root van de site in een tekstbestand met de naam van de sleutel.
- Configureer het CMS of de uitrolpipeline om een IndexNow-aanroep te verzenden bij elke creatie of wijziging van een pagina.
- Houd de XML-sitemap parallel up-to-date, met betrouwbare lastmod-datums, zodat zoekmachines die IndexNow niet ondersteunen een versheidsignaal hebben.
De sitemap en IndexNow dekken twee verschillende tijdsperiodes: de permanente inventaris en de eenmalige notificatie. Het gebruik van beide vergroot de indexeringsdekking zonder uitsluitend afhankelijk te zijn van de natuurlijke crawlfrequentie.
Een goed gesegmenteerde sitemap, ontdaan van onnodige URL’s en gesynchroniseerd met de technische signalen van de pagina is niets spectaculairs. Het is een regelmatig onderhoudswerk, geen afstelling die je één keer doet. Elke ingediende URL moet zijn plaats in het bestand verdienen, anders verdunnen we de aandacht van de robot op pagina’s die nooit nuttig zullen zijn voor de SEO.
