Was ist Latenz?
Du klickst, und es passiert … nichts. Eine halbe Sekunde, eine ganze, drei. Diese Wartezeit hat einen Namen: Latenz. Gemeint ist die Verzögerung zwischen einer Anfrage und der Reaktion darauf.
Der Begriff kommt aus der Netzwerktechnik. AWS erklärt den Unterschied zur Bandbreite mit einem Wasserrohr: Die Bandbreite ist, wie breit das Rohr ist. Die Latenz ist, wie lange das Wasser bis zum anderen Ende braucht. Eine schnelle Leitung hilft also wenig, wenn der Weg lang ist.
Im Marketing begegnet dir Latenz an drei Stellen:
Latenz bei KI-Modellen
Bei KI zerfällt die Wartezeit in drei Teile, die der unabhängige Vergleichsdienst Artificial Analysis getrennt misst:
Messgröße
Was sie misst
Time to First Token
bis das erste Wort kommt
Output Speed
Tokens pro Sekunde
End-to-End
bis die Antwort fertig ist
Als Faustformel: Gesamtzeit ≈ Zeit bis zum ersten Token + Länge der Antwort ÷ Tempo. Bei Modellen, die erst nachdenken, kommt die Denkzeit dazu. Artificial Analysis misst deshalb zusätzlich die Zeit bis zum ersten Antwort-Token — das ist die Wartezeit, die ein Nutzer wirklich spürt.
Fall A · Webshop
0,1 Sekunden schnellere Mobilseite
+8,4 %
Conversions
+9,2 %
Bestellwert
Schon eine Zehntelsekunde macht sich im Umsatz bemerkbar
Deloitte im Auftrag von Google, Handel, 37 Marken, über 30 Mio. Sitzungen, Daten von Ende 2019.
Fall B · KI-Modell
Schnell im Schreiben, langsam im Denken
254
Tokens pro Sekunde
176 s
bis zum ersten Antwort-Token
Hohes Tempo heißt nicht kurze Wartezeit
Claude Haiku 5.5 in der höchsten Denkstufe, Artificial Analysis, abgerufen 21.11.2026. Werte ändern sich laufend.
Wie viel Wartezeit ist okay?
Die bekanntesten Grenzen stammen vom Usability-Forscher Jakob Nielsen und gelten seit 1993:
- 0,1 Sekunden: Das System wirkt sofort.
- 1 Sekunde: Der Gedankenfluss bleibt ungestört, auch wenn man die Verzögerung merkt.
- 10 Sekunden: Bis hierhin bleibt die Aufmerksamkeit beim Dialog. Danach brauchen Nutzer eine Fortschrittsanzeige.
Für Websites nennt Google konkrete Schwellen: Eine Time to First Byte bis 0,8 Sekunden gilt als gut, über 1,8 Sekunden als schlecht. Für die Reaktion auf Klicks (INP) gelten bis 200 Millisekunden als gut.
Häufige Fehler
Fehler 1 · Tempo mit Wartezeit verwechseln
„Das Modell schafft 250 Tokens pro Sekunde, das ist schnell.“ Siehe Fall B: Wenn es vorher drei Minuten nachdenkt, wartet dein Kunde trotzdem. Für Chatbots zählt zuerst die Zeit bis zum ersten Antwort-Token.
Fehler 2 · Nur den Durchschnitt messen
OpenAI empfiehlt, den Median und das 95. Perzentil auf echtem Verkehr zu messen, Google bewertet Websites am 75. Perzentil. Der Grund: Die Ausreißer ärgern die Leute, nicht der Durchschnitt.
Fehler 3 · Agenten-Ketten unterschätzen
Ein KI-Agent, der erst sucht, dann zusammenfasst, dann prüft, addiert die Wartezeiten. OpenAI bringt es auf den Punkt: Jeder Modell- oder Werkzeug-Aufruf nacheinander fügt eine weitere Wartezeit hinzu.
Fehler 4 · Zu früh optimieren
Anthropic rät, erst einen Prompt zu bauen, der gut funktioniert, und dann die Latenz zu senken. Wer gleich das kleinste Modell nimmt, erfährt nie, was die beste Qualität gewesen wäre.
So senkst du die Latenz
- Passendes Modell wählen: Für einfache Aufgaben reicht ein kleines, schnelles Modell mit wenig Denkaufwand.
- Streaming nutzen: Die Antwort erscheint Wort für Wort. Gesamtzeit gleich, gefühlte Wartezeit viel kürzer.
- Kürzer fragen, kürzer antworten lassen: Weniger Tokens rein und raus heißt weniger Rechenzeit.
- Prompt Caching: Gleiche lange Anweisungen oder Dokumente zwischenspeichern. Bei Anthropic lebt der Cache standardmäßig fünf Minuten.
- Nicht alles per KI: Wenn normaler Code die Antwort schon kennt, braucht es kein Sprachmodell — auch das steht in OpenAIs Leitfaden.
Häufige Fragen
Was ist eine gute Latenz für einen Chatbot?
Eine feste Zahl gibt es nicht. Als Richtschnur helfen die Nielsen-Grenzen: Bis eine Sekunde bleibt der Gedankenfluss ungestört, bis zehn Sekunden die Aufmerksamkeit. Mit Streaming sollte das erste Wort deutlich unter einer Sekunde erscheinen.
Was bedeutet Time to First Token?
Die Zeit vom Absenden des Prompts bis zum ersten Token der Antwort. Sie ist besonders wichtig, wenn die Antwort gestreamt wird, weil der Nutzer dann ab diesem Moment etwas sieht.
Warum antwortet ChatGPT oder Claude manchmal so langsam?
Meist wegen des Denkmodus: Das Modell überlegt erst, bevor es schreibt. Dazu kommen lange Prompts, lange Antworten und hohe Last beim Anbieter. Für schnelle Antworten hilft ein kleineres Modell mit weniger Denkaufwand.
Was ist der Unterschied zwischen Latenz und Bandbreite?
Bandbreite ist, wie viele Daten gleichzeitig durch die Leitung passen. Latenz ist, wie lange ein Datenpaket für den Weg braucht. Eine breite Leitung mit langem Weg kann trotzdem träge wirken.
Ab wann ist eine Website zu langsam?
Google bewertet eine Time to First Byte über 1,8 Sekunden als schlecht und eine Reaktion auf Klicks über 500 Millisekunden ebenfalls. Schon eine Zehntelsekunde schneller brachte im Handel laut einer Deloitte-Studie 8,4 % mehr Conversions.