Online staan is niet genoeg om gevonden te worden. Tussen het publiceren van een bericht in WordPress en het verschijnen ervan in Google moeten meerdere stappen slagen, en indexering is de stap die bepaalt of de pagina wel of niet in de catalogus van de zoekmachine komt. Als je begrijpt wat er op dat moment gebeurt, schrik je een stuk minder van wat Search Console laat zien.
Hoe indexering werkt
Google beschrijft drie fasen: crawlen (de bot downloadt de pagina), indexeren (hij analyseert en bewaart de pagina) en het tonen van resultaten. Tijdens het indexeren leest Google de tekst, de title-tag, de alt-attributen, de afbeeldingen en de video’s. Ook herkent hij identieke of sterk gelijkende pagina’s, groepeert die en kiest er een canonieke URL uit, de versie die in de resultaten getoond kan worden. Tot slot verzamelt hij signalen zoals de taal of het land waarop de pagina zich richt.
Belangrijk: Google zegt zelf dat indexering niet gegarandeerd is. Niet elke pagina die hij verwerkt, wordt opgenomen, en een geïndexeerde pagina kan nooit verschijnen als ze weinig relevant of van lage kwaliteit wordt gevonden.
Crawlen of indexeren: twee verschillende knoppen
De twee begrippen worden vaak door elkaar gehaald, terwijl je ze met verschillende middelen stuurt:
- Het bestand robots.txt verhindert crawlen, niet indexeren. Een geblokkeerde URL kan in de index blijven als andere sites ernaar linken, alleen zonder beschrijving.
- De regel
noindex(meta-robotstag of X-Robots-Tag-header) verhindert indexering, op voorwaarde dat de bot de pagina kan crawlen om de regel te lezen. - De XML-sitemap helpt pagina’s te ontdekken, maar verplicht Google niet om ze te indexeren.
Voor WordPress
- Instellingen > Lezen: het vinkje “Zoekmachines ontmoedigen deze site te indexeren” zet een noindex-regel op de hele site. Handig op een stagingomgeving, rampzalig als het na de livegang aangevinkt blijft.
- Sitemap: sinds WordPress 5.5 publiceert de core
/wp-sitemap.xmlen meldt die in de virtuele robots.txt. SEO-plugins vervangen hem vaak door hun eigen sitemap. - Search Console: het rapport over paginaindexering toont de uitgesloten URL’s met de reden (“Gevonden - momenteel niet geïndexeerd”, “Gecrawld - momenteel niet geïndexeerd”, noindex, duplicaat…). De URL-inspectietool laat zien welke versie Googlebot ziet.
Als de index volloopt met pagina’s die niet van jou zijn
Een plotselinge stijging van het aantal geïndexeerde pagina’s is niet per se goed nieuws. Op een gehackte site kunnen duizenden spampagina’s onder jouw domein worden geïnjecteerd en geïndexeerd, soms onzichtbaar vanuit je eigen browser. Ze verdunnen het crawlen van je echte pagina’s en kunnen een waarschuwing in de zoekresultaten opleveren. Ons artikel over SEO-spam en deïndexering na een hack legt uit hoe je ze opspoort en uit de index haalt. Omgekeerd is het bij een onverwachte daling de moeite waard om noindex-regels, serverfouten en duplicate content te controleren, en op heel grote sites het crawlbudget.