Was ist Inferenz?
Du tippst eine Frage in ChatGPT, und nach zwei Sekunden steht die Antwort da. Was in diesen zwei Sekunden passiert, heißt Inferenz.
IBM definiert es so: Inferenz ist die Nutzung eines trainierten Modells, um aus neuen Daten Vorhersagen zu machen. Das Modell bekommt eine Eingabe, zum Beispiel deinen Prompt, ein Bild oder Kundendaten. Daraus berechnet es eine Ausgabe: einen Text, eine Einordnung, eine Empfehlung.
Der Begriff ist so zentral, dass die KI-Verordnung der EU ihn ins Herz ihrer Definition setzt. In Erwägungsgrund 12 heißt es, ein wesentliches Merkmal von KI-Systemen sei ihre Fähigkeit, abzuleiten. Im englischen Original steht dafür „infer“.
Training und Inferenz: zwei Phasen
Ein KI-Modell durchläuft zwei Phasen. Beim Training lernt es aus riesigen Datenmengen und stellt dabei Milliarden interner Werte ein. Das ist teuer und passiert selten. Bei der Inferenz wendet es diese Werte nur an. IBM nennt das einen reinen Vorwärtsdurchlauf: rechnen, nicht lernen.
Training
Inferenz
Modell lernt
Modell antwortet
einmalig, sehr teuer
bei jeder Anfrage
macht der Anbieter
machst du
Wochen bis Monate
Sekunden
Bei Sprachmodellen hat die Inferenz selbst zwei Teile. NVIDIA nennt sie Prefill und Decode. Erst liest das Modell deine ganze Eingabe ein, dann erzeugt es die Antwort Stück für Stück, Token für Token. Deshalb siehst du die Antwort im Chat Wort für Wort erscheinen.
Die Rechenlast hat sich verschoben. Laut Deloitte entfallen 2026 zwei Drittel der KI-Rechenleistung auf Inferenz, also auf das Ausführen der Modelle.
Was Inferenz kostet
Über eine Schnittstelle zahlst du pro Token, also pro Textstück. Eingabe und Ausgabe kosten unterschiedlich. Bei Claude Sonnet 4.6 sind es laut Anthropic 3 $ je Million Eingabe-Tokens und 15 $ je Million Ausgabe-Tokens (Stand November 2026). Die Antwort ist also fünfmal so teuer wie die Frage.
Rechnung A · Blogentwurf
Ein Artikelentwurf per Schnittstelle
0,06 $
je Entwurf
−50 %
mit Batch-API
Kosten sind selten das Problem, die Menge macht es.
Eigene Beispielrechnung: 5.000 Tokens Briefing rein, 3.000 Tokens Text raus, Listenpreise Claude Sonnet 4.6. Die Batch-API halbiert den Preis, wenn du nicht sofort eine Antwort brauchst.
Rechnung B · Preisverfall
Was eine Antwort auf GPT-3.5-Niveau kostet
280×
günstiger
2 Jahre
Zeitraum
Von November 2022 bis Oktober 2024 stürzten die Preise ab.
Stanford AI Index 2025. Die Hardwarekosten sinken dort um 30 % pro Jahr.
Und der Strom? Google gibt für einen typischen Textprompt in Gemini 0,24 Wattstunden an, Stand Mai 2025. Ein Jahr vorher war es 33-mal so viel. Das Forschungsinstitut Epoch AI schätzt eine ChatGPT-Anfrage auf rund 0,3 Wattstunden. Die oft zitierten 3 Wattstunden hält Epoch für überholt.
Häufige Fehler
Fehler 1 · „Die KI lernt aus meinem Prompt“
Bei der Inferenz ändert sich am Modell nichts. Ob deine Daten später ins Training fließen, regeln die Nutzungsbedingungen. Anthropic schließt das für Geschäftskunden der Schnittstelle vertraglich aus. Bei Gratis-Konten im Browser lies genau nach.
Fehler 2 · Nur auf den Eingabepreis schauen
Lange Antworten treiben die Rechnung, nicht lange Fragen. Bei Modellen, die vor der Antwort „nachdenken“, zählen auch diese Denkschritte als Ausgabe-Tokens. Laut Anthropic zahlst du sie, auch wenn du sie nur zusammengefasst siehst.
Fehler 3 · Token und Wort gleichsetzen
Wie viele Tokens ein Text hat, hängt vom Modell ab. Anthropic schreibt, dass der Tokenizer ab Claude 4.7 für denselben Text rund 30 % mehr Tokens zählt. Rechne deshalb mit echten Zahlen aus deinem Konto, nicht mit Faustregeln.
Fehler 4 · Inferenz für Denken halten
Das Modell schließt nicht wie ein Mensch. Es berechnet das wahrscheinlichste nächste Stück Text. Das erklärt, warum es auch mal flüssig Unsinn schreibt.
So hältst du Inferenz im Griff
- Modell passend wählen: Für Zusammenfassungen reicht oft ein kleines, günstiges Modell.
- Ausgabe begrenzen: Sag im Prompt, wie lang die Antwort sein soll.
- Stapel nutzen: Produkttexte oder Auswertungen über Nacht per Batch-API laufen lassen.
- Verbrauch messen: In der Konsole deines Anbieters oder bei OpenRouter siehst du die Kosten je Anfrage.
- Lokal rechnen, wenn Daten heikel sind: Mit Ollama oder LM Studio läuft die Inferenz auf deinem eigenen Rechner.
Häufige Fragen
Was ist der Unterschied zwischen Training und Inferenz?
Beim Training lernt das Modell und stellt seine internen Werte ein. Das passiert selten und kostet viel. Bei der Inferenz wendet es das Gelernte auf eine neue Eingabe an. Das passiert bei jeder einzelnen Anfrage.
Warum wird Inferenz pro Token abgerechnet?
Weil der Rechenaufwand mit der Textmenge wächst. Jedes Token der Eingabe muss gelesen, jedes Token der Antwort einzeln erzeugt werden. Deshalb ist die Ausgabe meist mehrfach so teuer wie die Eingabe.
Lernt ChatGPT oder Claude aus meinen Eingaben?
Nicht während der Inferenz. Ob Eingaben später fürs Training genutzt werden, steht in den Nutzungsbedingungen. Für die Schnittstelle von Anthropic ist das vertraglich ausgeschlossen. Bei privaten Konten gibt es oft eigene Regeln und Schalter.
Wie viel Strom braucht eine KI-Anfrage?
Weniger als oft behauptet. Google nennt 0,24 Wattstunden für einen typischen Gemini-Textprompt, Epoch AI schätzt rund 0,3 Wattstunden für eine ChatGPT-Anfrage. Lange Antworten und Denk-Modelle brauchen deutlich mehr.
Kann ich Inferenz auf meinem eigenen Rechner laufen lassen?
Ja, mit offenen Modellen und Programmen wie Ollama oder LM Studio. Dann verlassen deine Daten den Rechner nicht. Dafür sind die Modelle meist kleiner und langsamer als die großen Cloud-Modelle.