Was ist Fine-Tuning?
Du willst, dass die KI klingt wie deine Marke — jedes Mal, ohne seitenlangen Prompt? Dann landest du früher oder später beim Fine-Tuning. Dabei nimmst du ein fertig trainiertes Modell und trainierst es mit eigenen Beispielen weiter: Eingabe rein, gewünschte Ausgabe daneben.
OpenAI beschreibt es so: Du gibst einem Basismodell die Art von Eingaben und Ausgaben, die deine Anwendung erwartet. Das Modell behält sein Grundwissen. Angepasst wird sein Verhalten: Ton, Format, Struktur, die Art zu antworten.
Google unterscheidet zwei Wege. Beim vollen Fine-Tuning ändern sich alle Parameter des Modells. Beim parametereffizienten Tuning nur ein kleiner Teil. Für die Praxis ist der zweite Weg der Normalfall.
LoRA: Feinschliff mit kleinem Werkzeug
Das bekannteste sparsame Verfahren heißt LoRA (Low-Rank Adaptation). Statt Milliarden Gewichte anzufassen, trainiert es kleine Zusatzmatrizen. Das Ergebnis ist eine Adapter-Datei, die auf das Originalmodell gesteckt wird.
Wie groß der Unterschied ist, zeigt ein Beispiel aus der Doku von Hugging Face: Bei Llama 3.2 mit 1 Milliarde Parametern werden mit LoRA nur rund 524.000 trainiert — 0,04 %. Im ursprünglichen LoRA-Fachartikel von 2021 sank die Zahl der trainierbaren Parameter für GPT-3 um den Faktor 10.000, der Speicherbedarf der Grafikkarten um den Faktor 3.
Das gilt für die jeweiligen Testaufbauten, nicht für jedes Modell. Das Prinzip aber trägt: Fine-Tuning braucht heute kein Rechenzentrum mehr.
Wie viele Beispiele und was es bringt
OpenAI verlangt mindestens 10 Trainingsbeispiele und empfiehlt, mit 50 gut gemachten zu starten. Bringen 50 nichts, soll man erst Aufgabe und Prompt überdenken, bevor mehr Daten dazukommen. Google empfiehlt für Gemini mindestens 100 bis 500 Beispiele.
Fall A · Übersetzung
OpenAI-Test: Texte ins Isländische
70
Punkte mit 3 Beispielen im Prompt
87
Punkte nach Fine-Tuning mit 1.000
Fine-Tuning schlägt Few-Shot deutlich
Gemessen mit dem BLEU-Score (0 bis 100). Kam RAG dazu, fiel der Wert auf 83 — zusätzliches Wissen half bei dieser Stilaufgabe nicht.
Fall B · Plattform
Wenn das Basismodell verschwindet
6. Jan. 2027
letzte neue Trainingsjobs bei OpenAI
20. Apr. 2026
Abschaltung von Claude 3 Haiku
Ein Fine-Tune lebt nur so lange wie sein Basismodell
OpenAI lässt seine Fine-Tuning-Plattform auslaufen, neue Nutzer kommen nicht mehr hinein. Das einzige feinabstimmbare Claude-Modell ist abgeschaltet (Stand November 2026).
Fall A zeigt, wo Fine-Tuning glänzt: bei einer Stil- und Formataufgabe mit vielen Beispielen. Die Modelle im Test waren ältere GPT-Versionen, die Größenordnung zählt. Fall B zeigt die Kehrseite: Dein Training hängt an einem Modell, das der Anbieter irgendwann abschaltet. Angeboten wird Fine-Tuning heute vor allem bei Google Vertex AI für Gemini und für offene Modelle über Hugging Face.
Häufige Fehler
Fehler 1 · Fine-Tuning für Wissen nutzen
Du willst, dass die KI deine Preisliste kennt? Dann ist RAG dein Werkzeug. OpenAI ordnet RAG dem Kontext zu und Fine-Tuning dem beständigen Verhalten. Wer Fakten einbrennt, muss bei jeder Preisänderung neu trainieren.
Fehler 2 · Prompting überspringen
OpenAI schreibt selbst: Prompt Engineering ist meist der beste Startpunkt und reicht oft schon. Ein guter Systemprompt mit drei Beispielen ist in einer Stunde gebaut. Ein Fine-Tune braucht Daten, Tests und Pflege.
Fehler 3 · Ohne Tests trainieren
Ob das neue Modell besser ist, weißt du nur mit einem Prüfset. OpenAI rät zu Evals vor dem Training, für den Start mit gut 20 Fragen und Antworten. Ohne Vergleich trainierst du ins Blaue.
Die richtige Reihenfolge
- Schritt 1 · Prompt: Klare Anweisung, Tonalität beschreiben, zwei, drei Beispiele mitgeben (Few-Shot-Prompting).
- Schritt 2 · RAG: Fehlt Wissen über Produkte oder Kunden, gib dem Modell Dokumente zum Nachschlagen.
- Schritt 3 · Fine-Tuning: Erst wenn Stil oder Format trotz gutem Prompt schwanken und die Aufgabe sich oft gleich wiederholt.
Häufige Fragen
Wie viele Beispiele brauche ich für Fine-Tuning?
Bei OpenAI mindestens 10, empfohlen sind 50 für den Start. Google empfiehlt für Gemini 100 bis 500. Wichtiger als die Menge ist die Qualität: jedes Beispiel so, wie die perfekte Antwort aussehen soll.
Fine-Tuning oder RAG — was brauche ich?
Fehlt dem Modell Wissen, nimm RAG. Stimmen Ton, Format oder Verhalten nicht, kommt Fine-Tuning infrage. Viele Anwendungen kombinieren beides, die meisten kommen aber mit gutem Prompting und RAG aus.
Kann ich ChatGPT oder Claude feinabstimmen?
Kaum noch. OpenAI lässt seine Fine-Tuning-Plattform auslaufen und nimmt keine neuen Nutzer mehr auf. Das einzige feinabstimmbare Claude-Modell ist seit April 2026 abgeschaltet. Für Gemini bietet Google Fine-Tuning in Vertex AI an (Stand November 2026).
Was ist LoRA?
Ein sparsames Fine-Tuning-Verfahren. Statt das ganze Modell zu ändern, trainiert LoRA kleine Zusatzmatrizen und speichert sie als Adapter. Das spart Rechenleistung und Speicher, die Qualität bleibt laut Hugging Face vergleichbar.
Lohnt sich Fine-Tuning für kleine Unternehmen?
Selten. Es lohnt sich bei hohem Volumen gleichförmiger Aufgaben, etwa tausenden Produktbeschreibungen im festen Format. Für Blogtexte, Mails und Social Posts reichen ein guter Systemprompt und Beispiele.
