Robots.txt

Het robots.txt-bestand is het eerste wat een fatsoenlijke crawler leest voordat hij een site doorloopt. Het staat in de root van het domein (https://voorbeeld.nl/robots.txt) en geldt alleen voor de host, het protocol en de poort waarop het wordt aangeboden: een subdomein heeft een eigen bestand nodig. De syntaxis past in een paar regels, maar één fout kan een hele site uit de zoekmachines laten verdwijnen.

De syntaxis

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

Sitemap: https://voorbeeld.nl/wp-sitemap.xml

• User-agent geeft aan om welke robot het gaat (* voor allemaal). Google past de meest specifieke groep toe die bij zijn robot hoort.
• Disallow en Allow verbieden of staan paden toe. Bij een conflict wint de langste regel, en bij gelijke lengte de minst beperkende.
• Sitemap geeft het volledige adres van de XML-sitemap.

Google ondersteunt alleen deze vier velden: Crawl-delay wordt bijvoorbeeld door Googlebot genegeerd. Paden zijn hoofdlettergevoelig, het bestand mag maximaal 500 KiB zijn en Google bewaart het meestal tot 24 uur in de cache. Geeft het bestand een 404-fout, dan gaat Google ervan uit dat er geen beperkingen zijn; geeft het een serverfout (5xx), dan stopt Google eerst met crawlen en valt daarna terug op de laatst bekende versie.

Wat robots.txt niet doet

Dit is de meest voorkomende verwarring: robots.txt regelt het crawlen, niet de indexering. Google zegt het duidelijk: het is geen manier om een pagina uit de zoekresultaten te houden. Een geblokkeerd adres kan zonder beschrijving in de resultaten verschijnen als andere pagina’s ernaar linken. Erger nog: een geblokkeerde pagina kan haar noindex-tag niet doorgeven, omdat de robot die nooit leest.

Het is ook geen beveiligingsmiddel. Naleving van de regels is vrijwillig: Googlebot en serieuze robots houden zich eraan, kwaadwillende scanners negeren ze, en sommige lezen het bestand juist om interessante paden te vinden. Zet er nooit een back-upmap of stagingomgeving in: bescherm die aan de serverkant, zoals ons artikel over blootgestelde gevoelige bestanden uitlegt.

robots.txt en AI-robots

Met het bestand leg je ook een beleid vast voor robots van kunstmatige intelligentie: bijvoorbeeld de zoekrobots van assistenten toelaten en de robots die trainingsdata verzamelen weigeren. De keuze per robot staat in ons artikel over GPTBot, ClaudeBot en PerplexityBot, en de samenhang met llms.txt in onze GEO-gids voor een beveiligde WordPress-site.

Voor WordPress

• Een virtueel bestand: zonder fysiek bestand genereert WordPress een robots.txt dat /wp-admin/ blokkeert maar admin-ajax.php toestaat, en sinds versie 5.5 voegt het daar het adres van de sitemap /wp-sitemap.xml aan toe. Een robots.txt-bestand in de root vervangt dit virtuele bestand.
• SEO-plugins bieden vaak een robots.txt-editor in het Dashboard; controleer het resultaat door het adres in een browser te openen.
• Het vakje “Zoekmachines ontmoedigen deze site te indexeren” (Instellingen > Lezen) schrijft sinds WordPress 5.3 geen Disallow: / meer: het voegt een robots-tag noindex toe, wat beter werkt om uit de resultaten te blijven.
• Niet blokkeren: de mappen van thema’s en plugins met de CSS en scripts die nodig zijn voor de weergave, anders ziet Google een kapotte pagina.

Robots die robots.txt negeren en niet-bestaande adressen aftasten, kun je wel opsporen met robotvallen: WP Masquerade telt die bezoeken en kan in de Pro-versie de hardnekkigste weren, zonder een firewall te vervangen.