Was ist das Robots-Meta-Tag?
Das Robots-Meta-Tag ist eine kurze Anweisung im <head> einer Seite. Damit sagst du Suchmaschinen pro Seite: Darf diese Seite in den Index, und wie soll sie in den Ergebnissen aussehen?
Die bekannteste Regel ist noindex: <meta name="robots" content="noindex">. Laut Google verschwindet die Seite nach dem nächsten Crawl vollständig aus den Suchergebnissen — auch wenn andere Websites auf sie verlinken.
Für Dateien ohne HTML, etwa PDFs oder Bilder, gibt es dieselben Regeln als X-Robots-Tag im HTTP-Header. Den setzt du auf dem Server, zum Beispiel in der .htaccess.
Die wichtigsten Regeln
Regel
Wirkung
noindex
Seite erscheint nicht in der Suche
nofollow
Links der Seite werden nicht verfolgt
none
noindex und nofollow zusammen
nosnippet
kein Textauszug in den Ergebnissen
max-snippet
Länge des Textauszugs in Zeichen
noimageindex
Bilder der Seite nicht indexieren
unavailable_after
Seite verschwindet ab einem Datum
index und follow musst du nicht hinschreiben, das ist ohnehin der Standard. Trotzdem steht follow laut Web Almanac 2024 auf 54,7 % der Desktop-Seiten und index auf 53,4 % — Selbstverständliches, das Google ignoriert. Echtes noindex tragen nur 4,7 %.
Spannend für die KI-Suche: Laut Google-Doku gilt nosnippet auch für KI-Übersichten und den KI-Modus. Bing wiederum nimmt Inhalte mit noarchive aus den Antworten von Copilot heraus (Ankündigung von 2023).
noindex oder robots.txt?
Das ist die Verwechslung Nummer eins. Die robots.txt steuert das Crawling, noindex steuert die Indexierung. Google sagt es selbst deutlich: Die robots.txt ist nicht dafür da, Seiten aus der Suche auszuschließen.
Und noindex in der robots.txt? Funktioniert seit dem 1. September 2019 nicht mehr — Google hat die Unterstützung damals abgeschaltet.
Welche Seiten gehören auf noindex?
- Interne Suchergebnisse — Yoast setzt sie standardmäßig auf noindex.
- Danke-Seiten nach Formular oder Kauf
- Staging- und Testumgebungen — zusätzlich am besten mit Passwort
- Dünne Archivseiten, etwa Tag-Seiten mit einem einzigen Beitrag
- PDFs, die nur für Kunden gedacht sind — per X-Robots-Tag
Nicht auf noindex gehören Duplikate innerhalb deiner Website. Dafür empfiehlt Google den Canonical-Tag, damit die Signale auf der richtigen Seite landen.
Häufige Fehler
Fehler 1 · Den WordPress-Schalter vergessen
Unter Einstellungen → Lesen gibt es „Suchmaschinen davon abhalten, diese Website zu indexieren“. Seit WordPress 5.3 setzt der Haken ein noindex auf jede Seite. Beim Bau sinnvoll, nach dem Livegang tödlich. Nach jedem Relaunch: Haken prüfen.
Fehler 2 · noindex per JavaScript entfernen wollen
Steht noindex im ursprünglichen HTML, überspringt Google unter Umständen das Rendern. Ein Skript, das das Tag später entfernt, kommt dann nie zum Zug. Hinzufügen per JavaScript klappt, entfernen nicht zuverlässig.
Fehler 3 · Sofortige Wirkung erwarten
noindex greift erst, wenn Google die Seite erneut crawlt. Laut Google kann das je nach Wichtigkeit der Seite mehrere Monate dauern. Eilig? In der Search Console die URL prüfen und neu crawlen lassen. Das Entfernen-Tool blendet eine Seite nur für rund sechs Monate aus.
Fehler 4 · noindex als Duplikat-Lösung
Zwei fast gleiche Produktseiten? noindex wirft eine davon raus, aber auch alle Signale, die auf sie zeigen. Der Canonical-Tag fasst sie zusammen. Das ist fast immer die bessere Wahl.
So prüfst du, ob eine Seite auf noindex steht
- Google Search Console — URL-Prüfung zeigt, was Google gesehen hat. Der Bericht „Seitenindexierung“ listet alle Seiten mit „URL als ‚noindex‘ markiert“.
- Quelltext — im Browser Strg + U und nach robots suchen.
- HTTP-Header — in den Entwicklertools unter „Netzwerk“ nach X-Robots-Tag schauen.
- Crawler — Screaming Frog, Sitebulb oder die Site-Audits von SISTRIX, Ahrefs und Semrush finden noindex auf der ganzen Website.
Häufige Fragen
Was ist der Unterschied zwischen noindex und robots.txt?
Die robots.txt verbietet das Abrufen einer Seite, noindex verbietet die Aufnahme in den Index. Damit Google ein noindex lesen kann, darf die Seite in der robots.txt nicht gesperrt sein.
Wie lange dauert es, bis eine noindex-Seite aus Google verschwindet?
Bis Google die Seite erneut crawlt — bei wichtigen Seiten oft Tage, bei unwichtigen laut Google auch mehrere Monate. Über die URL-Prüfung in der Search Console kannst du ein neues Crawlen anstoßen.
Soll ich noindex und nofollow zusammen setzen?
Meistens reicht noindex. Mit nofollow folgt Google auch den Links auf der Seite nicht mehr. Das ist nur sinnvoll, wenn die Links selbst nichts taugen, etwa auf einer Staging-Seite.
Wie setze ich noindex für ein PDF?
Über den X-Robots-Tag im HTTP-Header, denn ein PDF hat keinen HTML-Kopf. Auf Apache-Servern geht das in der .htaccess, auf NGINX in der Server-Konfiguration. Google zeigt Beispiele in seiner Doku.
Kann ich mit WordPress einzelne Seiten auf noindex setzen?
Ja. In Yoast SEO findest du im Beitrag unter „Erweitert“ die Frage, ob Suchmaschinen den Inhalt zeigen dürfen. Ganze Inhaltstypen oder Kategorien stellst du in den Yoast-Einstellungen um.
