Was ist Quantisierung bei KI?
Warum passt ein Sprachmodell mit acht Milliarden Parametern plötzlich auf einen Laptop, obwohl es eigentlich 16 GB Speicher braucht? Die Antwort heißt Quantisierung.
Ein KI-Modell besteht aus Milliarden Zahlen, den Gewichten. Normalerweise wird jede davon mit 16 Bit gespeichert, also sehr genau. Bei der Quantisierung speichert man sie mit weniger Bits, zum Beispiel 8 oder 4. Hugging Face, die größte Plattform für offene KI-Modelle, fasst es so zusammen: weniger Bits, weniger Speicher, etwas weniger Genauigkeit.
Stell dir eine Waage vor, die statt auf das Gramm genau nur noch in 16 Stufen anzeigt. Das Ergebnis ist grober, aber für die meisten Zwecke gut genug. Genau so arbeitet ein 4-Bit-Modell: Jedes Gewicht kann nur einen von 16 Werten annehmen.
Wie viel Speicher spart das?
Speicher für die Gewichte
Speicher = Parameter × Bits je Gewicht ÷ 8
Beispiel: 8 Mrd. Parameter × 16 Bit ÷ 8 = 16 GB; mit 4 Bit nur noch rund 4 bis 5 GB
Wie das in der Praxis aussieht, zeigt Llama 3.1 mit acht Milliarden Parametern in der Modellbibliothek von Ollama:
Fassung
Größe
fp16 (16 Bit)
16 GB
q8_0 (8 Bit)
8,5 GB
q4_K_M (4 Bit)
4,9 GB
q2_K (2 Bit)
3,2 GB
Warum hat die 4-Bit-Fassung 4,9 GB und nicht genau 4? Weil zu jeder Gruppe von Gewichten noch Umrechnungsfaktoren gespeichert werden. Laut Messung des Werkzeugs llama.cpp braucht Q4_K_M real rund 4,9 Bit je Gewicht.
Wie viel Qualität kostet das?
Bei 8 und 4 Bit: erstaunlich wenig. Red Hat hat 2024 über eine halbe Million Tests an quantisierten Llama-3.1-Modellen laufen lassen. Ergebnis: Im Schnitt blieb fast 99 % der Leistung des Originals erhalten, beim Programmieren mit 4 Bit 98,9 %.
Bei 2 Bit kippt es. Eine Studie zu Llama 3 mit acht Milliarden Parametern fand mit 4 Bit eine mittlere Genauigkeit von 68,2 statt 68,6 Punkten. Mit 2 Bit waren es nur noch rund 35 Punkte — das Modell ist dann praktisch unbrauchbar.
Beispiele aus der Praxis
Case A · Google Gemma 3
Großes Modell auf einer Gaming-Karte
54 GB
Gemma 3 27B in 16 Bit
14,1 GB
mit 4 Bit
Passt laut Google auf eine Grafikkarte mit 24 GB.
Google hat das Modell schon beim Training auf 4 Bit vorbereitet. Das senkt den Qualitätsverlust zusätzlich.
Case B · OpenAI gpt-oss
Von Haus aus in 4 Bit
4,25 Bit
je Parameter (Großteil der Gewichte)
16 GB
Speicher für gpt-oss 20B
In 16 Bit bräuchte dasselbe Modell rund 48 GB.
OpenAI liefert gpt-oss direkt im 4-Bit-Format MXFP4 aus. Die 48 GB nennt Hugging Face.
Häufige Fehler
Fehler 1 · Je weniger Bits, desto besser
Weniger Speicher klingt immer gut. Unter 4 Bit bricht die Qualität aber schnell ein. Nimm die kleinste Fassung, die deine Aufgabe noch sauber schafft — meist Q4_K_M oder Q5_K_M.
Fehler 2 · Quantisierung mit einem kleineren Modell verwechseln
Ein quantisiertes Modell hat genauso viele Parameter wie das Original, nur gröber gespeichert. Ein kleineres Modell aus Destillation ist ein neues Modell, das von einem großen gelernt hat. Beim Pruning werden Teile des Modells ganz entfernt.
Fehler 3 · GB und GiB mischen
Manche Werkzeuge rechnen in Gibibyte (GiB), andere in Gigabyte (GB). 4,58 GiB sind dasselbe wie 4,9 GB. Kein Grund zur Sorge, wenn die Zahlen nicht genau übereinstimmen.
So nutzt du Quantisierung
- Fertig quantisiert laden: Ollama liefert standardmäßig eine 4-Bit-Fassung aus. Du musst nichts selbst rechnen.
- Kürzel lesen: fp16 = volle Genauigkeit, q8 = 8 Bit, q4 = 4 Bit. Das „K_M“ steht für ein feineres Verfahren mittlerer Größe.
- Formate kennen: GGUF für Ollama und LM Studio, MLX für Apple-Chips, GPTQ und AWQ für Grafikkarten-Server.
- Vergleichen: Teste dieselbe Aufgabe mit q4 und q8. Merkst du keinen Unterschied, bleib bei q4.
Häufige Fragen
Wie viel Speicher braucht ein 8B-Modell mit 4 Bit?
Rund 5 GB statt 16 GB. Llama 3.1 8B wiegt bei Ollama in der Fassung q4_K_M 4,9 GB, in voller Genauigkeit (fp16) 16 GB. Dazu kommt beim Arbeiten Speicher für den Gesprächsverlauf.
Wie viel Qualität verliert ein Modell durch Quantisierung?
Mit 8 oder 4 Bit wenig: In Tests von Red Hat blieben im Schnitt fast 99 % der Leistung erhalten. Mit 2 Bit bricht die Qualität stark ein. Kleine Modelle reagieren empfindlicher als große.
Was bedeuten Q4_K_M, Q8_0 und fp16?
fp16 ist die volle Fassung mit 16 Bit je Gewicht. Q8_0 nutzt 8 Bit, Q4_K_M rund 4 Bit mit einem feineren Verfahren der Gruppe „K“ in mittlerer Größe. Je kleiner die Zahl, desto kleiner die Datei.
Ist Quantisierung dasselbe wie Destillation?
Nein. Quantisierung behält alle Parameter und speichert sie nur gröber. Bei der Destillation lernt ein neues, kleineres Modell von einem großen. Beide Verfahren lassen sich kombinieren.
Macht Quantisierung ein Modell schneller?
Oft ja, vor allem beim Erzeugen von Text, weil weniger Daten durch den Speicher müssen. Garantiert ist das aber nicht: Manche Verfahren müssen die Gewichte vor jeder Rechnung erst wieder entpacken.