Was ist LoRA?
LoRA steht für Low-Rank Adaptation. Die Methode stammt aus einem Paper von Microsoft-Forschern aus dem Jahr 2021 und hat das Nachtrainieren von KI-Modellen massiv vereinfacht.
Der Trick: Das große Basismodell bleibt eingefroren. Statt Milliarden Gewichte neu zu lernen, trainiert LoRA nur zwei kleine Zusatzmatrizen je Schicht. Heraus kommt ein Adapter, eine kleine Datei, die du zum Basismodell dazuschaltest. Wie ein Objektivaufsatz: Die Kamera bleibt dieselbe, das Bild wird anders.
Warum LoRA so viel spart
Die Autoren haben LoRA am Sprachmodell GPT-3 mit 175 Milliarden Parametern getestet und mit einem vollen Fine-Tuning verglichen:
GPT-3, 2021
Ergebnis mit LoRA
Trainierte Parameter
10.000-mal weniger
Grafikspeicher
350 statt 1.200 GB
Gespeicherte Datei
35 MB statt 350 GB
Trainingszeit
rund 25 % schneller
Dazu kommt: Beim Einsatz rechnet man den Adapter ins Modell hinein. Antworten dauern also nicht länger. Die Zahlen gelten für das Setup des Papers, nicht pauschal für jedes Modell.
2023 legte die Variante QLoRA nach: Das Basismodell wird dafür auf 4 Bit verdichtet. So ließ sich ein Modell mit 65 Milliarden Parametern auf einer einzigen Grafikkarte mit 48 GB nachtrainieren.
Beispiele aus der Praxis
Bild-KI · Markenstil
Eigenes LoRA für FLUX
12–20
Trainingsbilder
≈ 2 $
je Trainingslauf
Dein Stil oder Produkt in jedem neuen Bild
Replicate empfiehlt 12 bis 20 Bilder, ein Lauf mit 1.000 Schritten dauert dort rund 20 bis 30 Minuten. fal.ai nennt 2 $ je Standardlauf (Stand November 2026).
Bild-KI · Dateigröße
LoRA für Stable Diffusion
3,29 MB
Größe des Adapters
1.000×
kleiner als das Modell
Ein Adapter passt in jede E-Mail
Beispiel aus dem Blog von Hugging Face (2023). Für ein bestimmtes Motiv reichten dort schon fünf bis zehn Bilder.
Typische Einsätze im Marketing: eine wiederkehrende Werbefigur, ein festes Produkt in immer neuen Szenen, ein einheitlicher Illustrationsstil für Blog und Social Media. Bei Sprachmodellen lernt ein LoRA eher Ton und Format als neues Wissen.
Häufige Fehler
Fehler 1 · LoRA für ein eigenes Modell halten
Ein LoRA funktioniert nur mit genau dem Basismodell, auf dem es trainiert wurde. Ein FLUX-LoRA läuft nicht auf Stable Diffusion XL.
Fehler 2 · Schlechte Trainingsbilder
Verwackelte, kleine oder stark komprimierte Fotos landen eins zu eins im Ergebnis. Die Anbieter empfehlen hohe Auflösung und einheitliche Qualität, fal.ai etwa ab 1024 × 1024 Pixeln.
Fehler 3 · Die Lizenz übersehen
FLUX.1 [dev] steht unter einer nicht-kommerziellen Lizenz. Laut Replicate dürfen dort erzeugte Bilder zwar kommerziell genutzt werden, die heruntergeladenen Gewichte auf eigener Hardware aber nicht. Lies die Lizenz des Basismodells, bevor du Kampagnen darauf baust.
Fehler 4 · Fremde Bilder ins Training packen
Trainiere nur mit Bildern, an denen du die Rechte hast: eigene Produktfotos, eigene Illustrationen, Personen mit Einwilligung. Alles andere ist ein Risiko, das du dir sparen kannst.
So startest du
- Ohne eigene Grafikkarte: fal.ai oder Replicate trainieren FLUX-LoRAs im Browser, Bilder hochladen und warten.
- Mit eigener Technik: Hugging Face PEFT für Sprachmodelle, diffusers für Bildmodelle.
- Für Sprachmodelle in der Cloud: Microsoft nutzt LoRA laut Doku beim Fine-Tuning in Azure OpenAI. OpenAI selbst nimmt für Fine-Tuning keine neuen Kunden mehr an.
Häufige Fragen
Was kostet es, ein eigenes LoRA zu trainieren?
Bei Cloud-Anbietern wenig: fal.ai nennt rund 2 $ je Standardlauf für FLUX, bei Replicate kostete ein typischer Lauf von 20 Minuten 2024 knapp 1,85 $. Teurer ist die Zeit für gute Trainingsbilder.
Wie viele Bilder brauche ich?
Replicate empfiehlt für FLUX 12 bis 20 Bilder. Für ein einzelnes Motiv in Stable Diffusion reichten laut Hugging Face fünf bis zehn. Wichtiger als die Menge ist, dass die Bilder scharf und abwechslungsreich sind.
Was ist der Unterschied zwischen LoRA und LoRa?
LoRA mit großem A ist eine Methode, KI-Modelle nachzutrainieren. LoRa mit kleinem a ist eine Funktechnik für vernetzte Geräte. Die Namen sind Zufall.
Brauche ich LoRA, oder reicht ein guter Prompt?
Für einzelne Bilder reicht oft ein Prompt mit Referenzbildern. Ein LoRA lohnt sich, wenn dieselbe Figur, dasselbe Produkt oder derselbe Stil sehr oft und sehr gleich aussehen soll.
Was ist QLoRA?
Eine Variante von 2023, bei der das Basismodell vorher auf 4 Bit verdichtet wird. Das spart noch mehr Speicher, sodass große Sprachmodelle auf einer einzigen Grafikkarte nachtrainiert werden können.