Was ist die Time to First Token?
Du schickst eine Frage an einen Chatbot und nichts passiert. Eine Sekunde, zwei Sekunden. Diese Spanne misst die Time to First Token, kurz TTFT: die Zeit vom Absenden bis zum ersten Token der Antwort.
Ein Token ist ein Wortbaustein, das Modell schreibt in solchen Stücken. In der TTFT stecken laut NVIDIA die Warteschlange, die Verarbeitung deiner Eingabe und das Netz. Größere Prompts erhöhen sie, das bestätigen Microsoft und NVIDIA.
Sichtbar wird die TTFT nur mit Streaming, also wenn die Antwort Stück für Stück erscheint statt erst am Ende als Block.
So hängen die Zeiten zusammen
Gesamtzeit einer Antwort
Gesamtzeit = TTFT + Anzahl Tokens × Zeit je Token
Beispiel: 0,9 s TTFT und 200 Tokens bei 46 Tokens pro Sekunde → rund 5,2 s bis zum letzten Wort
Deshalb kann ein Modell schnell loslegen und trotzdem lange brauchen. Umgekehrt geht es auch. Das zeigen zwei Werte von Artificial Analysis, die ich am 2. November 2026 abgerufen habe (jeweils über die API des Herstellers, langer Prompt mit 10.000 Tokens):
Modell
TTFT
Tokens/s
Claude Sonnet 4.6
0,89 s
46
GPT-5.5
72,56 s
94
Beide Modelle sind dort inzwischen als veraltet markiert, die Tageswerte ändern sich laufend. Es geht ums Prinzip: GPT-5.5 schreibt doppelt so schnell und fängt trotzdem viel später an. Bei Modellen, die erst nachdenken, wird das noch unübersichtlicher, denn Artificial Analysis weist dafür zusätzlich eine eigene Zeit bis zum ersten Antwort-Token aus.
Was ist eine gute TTFT?
Eine Norm gibt es nicht. Als Maßstab helfen die klassischen Grenzen von Jakob Nielsen für Software allgemein: Bis 0,1 Sekunden wirkt etwas sofort, bis 1 Sekunde bleibt der Gedankenfluss erhalten, bis 10 Sekunden die Aufmerksamkeit. Die Übertragung auf Chatbots ist eine Schlussfolgerung, keine Messung.
- Chatbot im Kundenservice: Unter rund 1 Sekunde fühlt es sich flüssig an, darüber braucht es eine Anzeige wie „schreibt gerade“.
- Voicebot: Hier zählt am meisten. Menschen wechseln im Gespräch in rund 200 Millisekunden die Sprecherrolle. Ein Fachpapier nennt 500 Millisekunden als Designziel, das ist aber kein Grenzwert.
- Massenaufgaben: Bei Produkttexten über Nacht ist die TTFT egal, dort zählt der Preis.
Nicht verwechseln
- Time to First Byte (TTFB): Web-Kennzahl vom Seitenaufruf bis zum ersten Byte der Serverantwort, hat mit Sprachmodellen nichts zu tun.
- Tokens pro Sekunde: Das Schreibtempo nach dem ersten Token.
- Gesamtlatenz: Die Zeit bis zum letzten Token.
- Streaming: Eine Art der Auslieferung, keine Kennzahl.
Häufige Fehler
Fehler 1 · Niedrige TTFT für schnelle Antwort halten
Das erste Wort kommt flott, die Antwort tröpfelt aber über zehn Sekunden. Schau immer beide Werte an.
Fehler 2 · Äpfel mit Birnen vergleichen
Artificial Analysis misst mehrmals täglich von einem festen Server in den USA und zeigt den Median. Dein Prompt, dein Standort und deine Last sehen anders aus. Miss im eigenen System nach.
Fehler 3 · Bei Voice nur die TTFT messen
Beim Telefon-Bot kommen Spracherkennung und Sprachausgabe dazu. Entscheidend ist die Zeit bis zum ersten Ton, nicht bis zum ersten Token.
So senkst du die Wartezeit
- Streaming einschalten: Die Gesamtzeit bleibt gleich, die gefühlte Wartezeit sinkt. Für OpenAI ist das der wirksamste Hebel.
- Prompt kürzen: Weniger Eingabe senkt die TTFT, weniger Ausgabe die Gesamtzeit oft stärker.
- Das passende Modell wählen: Für einfache Fragen reicht oft ein kleines, schnelles Modell.
- Wiederholungen abfangen: Häufige Fragen über Semantic Caching oder Prompt Caching beantworten.
- Warten sichtbar machen: Eine Anzeige „schreibt gerade“ ist billig und hilft sofort.
Häufige Fragen
Was ist ein guter TTFT-Wert?
Einen festen Standard gibt es nicht. Für Chatbots ist rund eine Sekunde ein brauchbares Ziel, abgeleitet aus Nielsens Grenzen. Bei Voice willst du deutlich darunter bleiben, bei Massenaufgaben ist es egal.
Was ist der Unterschied zwischen TTFT und TTFB?
TTFT misst die Zeit bis zum ersten Token eines Sprachmodells. TTFB misst die Zeit bis zum ersten Byte einer Website. Beide beschreiben einen Startmoment, gehören aber zu verschiedenen Systemen.
Warum dauert die erste Antwort bei manchen Modellen so lange?
Oft liegt es an der Verarbeitung langer Prompts, an der Auslastung oder an einer Denkphase vor der Antwort. Die genaue Ursache nennen Benchmarks meist nicht. Teste dein Modell deshalb mit deinem echten Prompt.
Hilft Streaming, obwohl die Gesamtzeit gleich bleibt?
Ja. Microsoft und OpenAI empfehlen es für Chatbots, weil Nutzer früher etwas sehen. Die Rechenzeit ändert sich nicht, aber das Warten fühlt sich kürzer an.
Wie messe ich die TTFT selbst?
Setze im Streaming-Client einen Zeitstempel beim Absenden und einen beim ersten eintreffenden Token. Mit etwas Technik geht das auch per Azure Monitor oder NVIDIA AIPerf. Zum Vergleich von Modellen eignet sich Artificial Analysis.
Quellen
- Anthropic: Latenz reduzieren
- Microsoft: Latenz in Azure OpenAI
- NVIDIA: Benchmarking-Metriken
- Artificial Analysis: Methodik
- Nielsen Norman Group: Response Times
- OpenAI: Latency Optimization
- arXiv: Tan et al., Time to First Token im Text-Chat
- Levinson und Torreira: Timing in Turn-Taking
- web.dev: Time to First Byte
