robots.txt

Die Datei robots.txt ist das Erste, was ein seriöser Crawler liest, bevor er eine Website durchsucht. Sie liegt im Stammverzeichnis der Domain (https://example.de/robots.txt) und gilt nur für den Host, das Protokoll und den Port, über die sie ausgeliefert wird: Eine Subdomain braucht ihre eigene Datei. Die Syntax passt in ein paar Zeilen, doch ein einziger Fehler kann eine ganze Website aus den Suchmaschinen verschwinden lassen.

Die Syntax

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

Sitemap: https://example.de/wp-sitemap.xml

• User-agent bezeichnet den betroffenen Crawler (* für alle). Google wendet die spezifischste Gruppe an, die zu seinem Crawler passt.
• Disallow und Allow verbieten oder erlauben Pfade. Bei einem Konflikt gewinnt die längste Regel, bei Gleichstand die am wenigsten einschränkende.
• Sitemap gibt die vollständige Adresse der XML-Sitemap an.

Google unterstützt nur diese vier Felder: Crawl-delay zum Beispiel ignoriert der Googlebot. Pfade unterscheiden Groß- und Kleinschreibung, die Datei ist auf 500 KiB begrenzt, und Google speichert sie in der Regel bis zu 24 Stunden im Cache. Liefert die Datei einen 404-Fehler, geht Google davon aus, dass es keine Einschränkungen gibt; bei einem Serverfehler (5xx) stoppt es das Crawling zunächst und stützt sich danach auf die zuletzt bekannte Version.

Was robots.txt nicht leistet

Das ist das häufigste Missverständnis: robots.txt steuert das Crawling, nicht die Indexierung. Google sagt es deutlich: Die Datei ist kein Mittel, um eine Seite aus den Suchergebnissen herauszuhalten. Eine gesperrte Adresse kann ohne Beschreibung in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Schlimmer noch: Eine gesperrte Seite kann ihr noindex-Tag nicht übermitteln, weil der Crawler sie nie liest.

Ein Sicherheitswerkzeug ist die Datei ebenfalls nicht. Die Regeln werden freiwillig eingehalten: Der Googlebot und seriöse Crawler befolgen sie, bösartige Scanner ignorieren sie, und manche lesen die Datei sogar gezielt, um interessante Pfade zu finden. Trage dort niemals einen Backup-Ordner oder eine Staging-Umgebung ein: Schütze sie serverseitig, wie unser Beitrag über offen zugängliche sensible Dateien erklärt.

robots.txt und KI-Crawler

Mit der Datei kannst du auch festlegen, wie du mit Crawlern künstlicher Intelligenz umgehst: etwa die Such-Crawler von KI-Assistenten zulassen und diejenigen ablehnen, die Trainingsdaten sammeln. Die Entscheidung Crawler für Crawler bespricht unser Beitrag über GPTBot, ClaudeBot und PerplexityBot, das Zusammenspiel mit llms.txt unser GEO-Leitfaden für eine sichere WordPress-Website.

Für WordPress

• Eine virtuelle Datei: Ohne physische Datei erzeugt WordPress eine robots.txt, die /wp-admin/ sperrt, admin-ajax.php aber erlaubt, und fügt seit Version 5.5 die Adresse der Sitemap /wp-sitemap.xml hinzu. Eine im Stammverzeichnis abgelegte robots.txt ersetzt diese virtuelle Datei.
• SEO-Plugins bieten oft einen robots.txt-Editor im Dashboard; prüfe das Ergebnis, indem du die Adresse im Browser öffnest.
• Das Kästchen „Suchmaschinen davon abhalten, diese Website zu indexieren“ (Einstellungen > Lesen) schreibt seit WordPress 5.3 kein Disallow: / mehr: Es fügt ein Robots-Tag noindex ein, das zuverlässiger aus den Ergebnissen heraushält.
• Nicht sperren: die Theme- und Plugin-Ordner mit den CSS-Dateien und Skripten, die zur Darstellung nötig sind, sonst sieht Google eine kaputte Seite.

Bots, die robots.txt ignorieren und nicht existierende Adressen abklopfen, lassen sich dagegen mit Bot-Fallen erkennen: WP Masquerade zählt diese Besuche und kann in der Pro-Version die hartnäckigsten aussperren, ohne eine Firewall zu ersetzen.