Was ist Modelldestillation?
Ein Meister bringt seinem Lehrling nicht alles bei, was er weiß — nur das, was der Lehrling für seine Arbeit braucht. Am Ende macht der Lehrling diese eine Sache fast so gut wie der Meister. Genau so funktioniert Modelldestillation.
Ein großes, teures KI-Modell, der Lehrer, löst viele Beispielaufgaben. Ein kleines Modell, der Schüler, wird mit diesen Lösungen trainiert. Bekannt wurde das Verfahren 2015 durch ein Paper von Geoffrey Hinton und Kollegen bei Google. Der Schüler lernt dort nicht nur die richtige Antwort, sondern auch, wie sicher sich der Lehrer bei jeder möglichen Antwort war.
Bei heutigen Sprachmodellen ist es meist einfacher: Der Lehrer schreibt Antworten, die guten kommen in einen Datensatz, und darauf wird das kleine Modell per Fine-Tuning nachtrainiert. OpenAI beschreibt genau diesen Weg — das Ziel sei ein kleines Modell, das bei einer bestimmten Aufgabe ähnlich gut arbeitet wie das große.
Was Destillation bringt
Die Zahlen aus Forschung und Herstellerangaben zeigen, wie viel sich sparen lässt:
Fall A · Kleiner, fast so gut
DistilBERT von Hugging Face (2019)
40 %
kleiner als BERT
97 %
des Sprachverständnisses
Dazu 60 % schneller
Eines der ersten bekannten Beispiele. DistilBERT steckt bis heute in vielen Klassifizierungs-Tools.
Fall B · Klein schlägt groß
DeepSeek-R1-Distill-Qwen-32B (2025)
32 Mrd.
Parameter statt 671 Mrd.
72,6 %
im Mathe-Test AIME 2024
Besser als OpenAI o1-mini mit 63,6 %
Herstellerangabe von DeepSeek. Das kleine Modell wurde mit 800.000 Beispielen trainiert, die das große R1 geschrieben hat.
DeepSeek zeigte noch etwas: Dasselbe kleine Basismodell kam mit eigenem, aufwendigem Training nur auf 47,0 % — destilliert auf 72,6 %. Lernen vom Lehrer war also wirksamer als selbst üben. Amazon wirbt für seinen Destillations-Dienst in Bedrock mit bis zu fünffachem Tempo und bis zu 75 % geringeren Kosten bei unter 2 % Genauigkeitsverlust — Höchstwerte aus dem Marketing des Anbieters.
Häufige Fehler
Fehler 1 · Einen Allrounder erwarten
Der Schüler ist für die Aufgabe gut, auf die er trainiert wurde. Bei allem anderen fällt er schnell zurück. Wer ein destilliertes Modell für Produkttexte baut, sollte damit keine Vertragsfragen beantworten.
Fehler 2 · Destillation und Fine-Tuning für Gegensätze halten
Technisch ist Destillation meist ein Fine-Tuning. Der Unterschied liegt in den Trainingsdaten: Beim normalen Fine-Tuning stammen sie von dir oder deinen Leuten, bei der Destillation schreibt sie ein Lehrermodell.
Fehler 3 · Mit ChatGPT- oder Claude-Antworten ein eigenes Modell bauen
Das verbieten die Nutzungsbedingungen. Anthropic untersagt in seinen gewerblichen Bedingungen ausdrücklich, die Dienste zu nutzen, um konkurrierende KI-Modelle zu trainieren. 2026 warf Anthropic drei chinesischen Anbietern vor, über rund 24.000 betrügerische Konten Millionen Claude-Antworten abgegriffen zu haben. Erlaubt ist Destillation dagegen innerhalb der Plattformen, die sie anbieten, und mit offenen Modellen, deren Lizenz es zulässt.
Fehler 4 · Destillation mit Quantisierung verwechseln
Bei der Quantisierung wird dasselbe Modell nur gröber gespeichert, mit weniger Stellen pro Zahl. Gelernt wird dabei nichts. Bei der Destillation entsteht ein neues, kleineres Modell. Beides lässt sich kombinieren.
Lohnt sich das für dein Marketing?
Selbst destillieren musst du selten. Die Ergebnisse nutzt du trotzdem: Viele kleine, günstige Modelle wie Llama 3.2 1B und 3B von Meta sind destilliert. Wann sich eigene Destillation lohnt:
- Hohe Stückzahl: Tausende gleichartige Anfragen am Tag, etwa Lead-Klassifizierung oder Feed-Texte.
- Klare Aufgabe: Du weißt genau, wie eine gute Antwort aussieht, und hast schon gute Beispiele.
- Kosten oder Tempo drücken: Das große Modell funktioniert, ist aber zu teuer oder zu langsam.
Angeboten wird Destillation etwa in Amazon Bedrock und auf der KI-Plattform von Google Cloud. Bei OpenAI läuft das Fine-Tuning laut Doku aus — darauf solltest du keinen neuen Prozess mehr bauen.
Häufige Fragen
Was ist der Unterschied zwischen Destillation und Fine-Tuning?
Fine-Tuning ist die Methode: Ein bestehendes Modell wird mit Beispielen nachtrainiert. Destillation ist ein Fall davon, bei dem die Beispiele von einem größeren Lehrermodell stammen. Ziel ist dann immer ein kleineres, günstigeres Modell.
Darf ich mit ChatGPT- oder Claude-Antworten ein eigenes Modell trainieren?
Für Modelle, die mit dem Anbieter konkurrieren, nein. Anthropic verbietet das in seinen gewerblichen Bedingungen ausdrücklich, OpenAI hat eine ähnliche Klausel. Erlaubt ist Destillation innerhalb der Plattformen, die sie anbieten, und mit offenen Modellen, deren Lizenz es zulässt.
Wie viel kleiner und günstiger wird ein destilliertes Modell?
Das hängt vom Fall ab. DistilBERT war 40 % kleiner und 60 % schneller bei 97 % der Leistung. Amazon nennt für Bedrock bis zu 75 % geringere Kosten. Rechne mit großen Einsparungen bei einer eng umrissenen Aufgabe.
Was hat DeepSeek mit Destillation zu tun?
Zweierlei. DeepSeek hat aus seinem großen Modell R1 sechs kleine destilliert, die erstaunlich gut abschneiden. Gleichzeitig warfen OpenAI und Anthropic DeepSeek vor, ihre Modelle unerlaubt als Lehrer genutzt zu haben. Belegt ist das nicht durch ein Urteil.
Lohnt sich Destillation für kleine Unternehmen?
Nur bei hoher Stückzahl und klarer Aufgabe. Für die meisten reicht ein kleines Standardmodell mit gutem Prompt. Wer täglich Tausende gleichartige Anfragen hat, kann über Plattformdienste wie Amazon Bedrock destillieren, ohne selbst Modelle zu trainieren.
Quellen
- Hinton et al.: Distilling the Knowledge in a Neural Network
- OpenAI: Supervised Fine-Tuning und Distillation
- Sanh et al.: DistilBERT
- DeepSeek-AI: DeepSeek-R1
- AWS: Amazon Bedrock Model Distillation
- Meta AI: Llama 3.2
- Anthropic: Commercial Terms of Service
- Anthropic: Detecting and preventing distillation attacks
