Googlebot heeft niet onbeperkt de tijd voor elke site. Hij moet voorkomen dat hij de server overbelast en kiezen welke adressen een bezoek waard zijn. Het crawlbudget staat voor dat compromis. Er wordt veel over gepraat, maar Google bewaart het begrip uitdrukkelijk voor grote sites: voor een blog of een WordPress-bedrijfssite met een paar honderd pagina’s is het bijna nooit het echte probleem.
Hoe Google dit budget bepaalt
De handleiding van Google over het beheren van het crawlbudget combineert twee elementen:
- De limiet van de crawlcapaciteit: het aantal gelijktijdige verbindingen en het tempo dat Googlebot zich veroorlooft zonder de server te hinderen. Die limiet stijgt als de site snel reageert en daalt als ze trager wordt of serverfouten teruggeeft.
- De crawlvraag: de interesse van Google in je URL’s, die afhangt van de omvang van de site, hoe vaak ze wordt bijgewerkt, de populariteit van de pagina’s en hun kwaliteit.
Het crawlbudget is het geheel aan URL’s dat Google kan en wil crawlen. De handleiding richt zich vooral op sites met meer dan een miljoen pagina’s die ongeveer wekelijks veranderen, sites met meer dan 10.000 pagina’s die dagelijks veranderen, en sites waarvan veel URL’s in Search Console blijven hangen op de status “Gevonden - momenteel niet geïndexeerd”. Die drempels zijn indicatief.
Wat crawltijd verspilt
- Dubbele URL’s, bijvoorbeeld gesorteerde of gefilterde versies van dezelfde lijst: duplicate content op grote schaal.
- Pagina’s zonder waarde die openstaan voor robots.
- “Soft 404’s”, lege pagina’s of foutpagina’s die met statuscode 200 worden geserveerd en dus gecrawld blijven worden.
- Lange ketens van redirects.
- Verwijderde pagina’s die nog 200 teruggeven in plaats van een 404-fout of een 410-code.
Om URL’s blijvend buiten het crawlen te houden, raadt Google het bestand robots.txt aan. Daarentegen raadt het noindex voor dit doel af: de robot moet de pagina toch downloaden om de regel te lezen, dus de tijd is al besteed.
Voor WordPress
De meeste WordPress-sites hoeven zich er geen zorgen over te maken. Het onderwerp wordt concreet bij een grote WooCommerce-webshop, waarvan de filters en sorteringen duizenden URL-combinaties kunnen opleveren, of bij een nieuwssite met heel veel archieven (tags, datums, paginering). Het rapport Crawlstatistieken, in de instellingen van Search Console, toont het aantal verzoeken, de gemiddelde reactietijd en de verdeling van de HTTP-statuscodes.
Twee situaties verdienen extra aandacht. Ten eerste een hack: duizenden geïnjecteerde spampagina’s slokken crawltijd op ten koste van je echte content, zoals beschreven in ons artikel over SEO-spam na een hack. Ten tweede de serverbelasting: scanrobots die je site bestoken, gebruiken het budget van Google niet, maar ze kunnen een gedeelde hosting vertragen, en een trage server verlaagt de crawlcapaciteit. Die robots weren, bijvoorbeeld met de blokkering via de robotvallen van WP Masquerade Pro, verlicht de belasting; het vervangt geen goed gedimensioneerde hosting en ook geen cache.