Startseite > KI-Crawler

Schlagwort

KI-Crawler

Alles zum Schlagwort „KI-Crawler": Erklärungen aus dem Lexikon und Beiträge aus dem Blog.

Blogbeiträge

Im Lexikon

Kurz erklärt

AI-Suche & AEO/GEO

Bleistiftskizze: Roboter saugt mit Schlauch Zettel aus einer Webseite in seinen Rucksack, zurück rollt nur eine orange Münze, als Bild für KI-Crawler

KI-Crawler

GPTBot, ClaudeBot, PerplexityBot: In deinen Server-Logs tauchen immer mehr Besucher auf, die keine Menschen sind. Manche lernen aus deinen Inhalten, manche zitieren dich in

Zum Begriff →

Alles zu diesem Schlagwort

Bleistiftskizze: Fertige Torte in einer Durchreiche, orange hervorgehoben, daneben ein offener Karton mit Eiern, Nudelholz und Rezeptblatt als Bild für SSR

Web, UX & Conversion

Server-Side Rendering

Bekommt der Browser eine fertige Seite oder einen Bauplan zum Selberzusammenbauen? Bei Server-Side Rendering liefert der Server fertiges HTML. Das entscheidet mit darüber, ob …

Zum Begriff →

Bleistiftskizze: Roboter prüft mit Lupe einen Papierstapel, daneben ein hoher Stapel mit oranger Fahne als Bild für den Nutzungsvorbehalt beim TDM

Recht & Datenschutz

Text und Data Mining

Darf eine KI deine Website zum Lernen auslesen? Im Grundsatz ja, solange du nicht widersprichst. Und genau bei diesem Widerspruch wird es knifflig.

Zum Begriff →

Sinnbild für den KI-Training Opt-out: Mann von hinten vor einer leuchtenden Website-Tafel, davor eine orange Schranke, an der kleine Roboter anhalten

Blog

01.11.20263 Min. Lesezeit

KI-Training Opt-out: Eine robots.txt-Gruppe soll für alle gelten

KI-Training Opt-out per robots.txt: Google, Microsoft und OpenAI planen ein gemeinsames Signal. Was es kann und wo der Haken liegt.

Zum Artikel →

Bleistiftskizze: Balkenwaage mit hohem Papierstapel und hervorlugendem Roboter links, rechts oben eine orange Münze als Bild für viel Abruf, wenig Rückfluss

AI-Suche & AEO/GEO

Crawl-to-Refer-Ratio

KI-Crawler lesen deine Seiten, um Antworten zu geben. Aber wie viele Besucher schicken sie zurück? Die Crawl-to-Refer-Ratio macht dieses Geschäft in einer Zahl sichtbar …

Zum Begriff →

Bleistiftskizze: Roboter mit falschem Schnurrbart hält ein orange markiertes Namensschild vor einen Türspion mit Auge, als Bild für den User-Agent

SEO

User-Agent

Jeder Browser und jeder Crawler stellt sich beim Besuch deiner Website mit einer kurzen Zeile vor. Das ist der User-Agent — praktisch für SEO …

Zum Begriff →

Bleistiftskizze: Bauklötze, Zahnräder und Bauplan auf einer Werkbank gehen in eine Kurbelmaschine, rechts ein orange getuschtes Häuschen als Bild für Rendering

SEO

Rendering

Der Schritt, in dem aus Code eine fertige Seite wird. Für Google meist eine Sache von Sekunden. Für die Crawler von ChatGPT und Claude …

Zum Begriff →

Bleistiftskizze: Figur sitzt auf orange hervorgehobener Holzbank mit Kissen, ein angeklemmter Schirm kippt weg, als Bild für Progressive Enhancement

Web, UX & Conversion

Progressive Enhancement

Erst muss die Seite funktionieren, dann darf sie glänzen. Progressive Enhancement baut Websites von unten nach oben — damit dein Kontaktformular auch dann noch …

Zum Begriff →

Bleistiftskizze: Kniende Figur zeigt auf Spuren im Schnee zur Haustür, orange hervorgehoben die eckigen Roboterabdrücke als Bild für Crawler im Logfile

SEO

Logfile-Analyse

Dein Server führt Buch über jeden Besuch — auch über die, die keine Analytics-Software sieht. Die Logfile-Analyse liest dieses Buch und zeigt, was Googlebot, …

Zum Begriff →

Bleistiftskizze: Ein Roboter stoppt vor orangem Schild mit durchgestrichenen Fußspuren am offenen Tor, ein zweiter rollt hindurch, als Bild für Robots.txt

SEO

Robots.txt

Eine kleine Textdatei mit großer Wirkung: Die robots.txt sagt Crawlern, welche Bereiche deiner Website sie abrufen dürfen. Was sie nicht kann, ist mindestens genauso …

Zum Begriff →

Bleistiftskizze: Orange gefärbter Roboter mit Spinnenbeinen und Korb voller Blätter zwischen schwebenden, mit Fäden verbundenen Seiten, als Bild für Crawling

SEO

Crawling

Bevor Google deine Seite zeigen kann, muss ein Programm sie besuchen. Das ist Crawling — und heute kommen nicht nur Suchmaschinen vorbei, sondern auch …

Zum Begriff →