Robots.txt

Alles zum Schlagwort „Robots.txt": Erklärungen aus dem Lexikon und Beiträge aus dem Blog.

Blogbeiträge

Im Lexikon

Kurz erklärt

SEO

Bleistiftskizze: Ein Roboter stoppt vor orangem Schild mit durchgestrichenen Fußspuren am offenen Tor, ein zweiter rollt hindurch, als Bild für Robots.txt

Robots.txt

Eine kleine Textdatei mit großer Wirkung: Die robots.txt sagt Crawlern, welche Bereiche deiner Website sie abrufen dürfen. Was sie nicht kann, ist mindestens genauso

Zum Begriff →

Alles zu diesem Schlagwort

Sinnbild für den KI-Training Opt-out: Mann von hinten vor einer leuchtenden Website-Tafel, davor eine orange Schranke, an der kleine Roboter anhalten

Blog

01.11.20263 Min. Lesezeit

KI-Training Opt-out: Eine robots.txt-Gruppe soll für alle gelten

KI-Training Opt-out per robots.txt: Google, Microsoft und OpenAI planen ein gemeinsames Signal. Was es kann und wo der Haken liegt.

Zum Artikel →

Bleistiftskizze: Roboter saugt mit Schlauch Zettel aus einer Webseite in seinen Rucksack, zurück rollt nur eine orange Münze, als Bild für KI-Crawler

AI-Suche & AEO/GEO

KI-Crawler

GPTBot, ClaudeBot, PerplexityBot: In deinen Server-Logs tauchen immer mehr Besucher auf, die keine Menschen sind. Manche lernen aus deinen Inhalten, manche zitieren dich in …

Zum Begriff →