Was ist ein Small Language Model?
Musst du für jede Zusammenfassung das größte Modell der Welt anwerfen? Meist nicht. Ein Small Language Model (SLM) ist ein Sprachmodell, das deutlich kleiner ist als die großen Chat-Modelle — klein genug für Laptop, Smartphone oder eine einzelne Grafikkarte.
Eine feste Grenze gibt es nicht. IBM spricht von einigen Millionen bis wenigen Milliarden Parametern, große Modelle haben Hunderte Milliarden. Ein NVIDIA-Team zählt die meisten Modelle unter 10 Milliarden dazu: alles, was auf ein normales Endgerät passt. Microsoft nennt selbst sein Modell Phi-4 mit 14 Milliarden Parametern noch klein.
Wie viel kann klein?
Erstaunlich viel. Microsofts Phi-3-mini hat 3,8 Milliarden Parameter und liegt laut Hersteller in Tests etwa auf dem Niveau von GPT-3.5. Phi-4-mini erreicht laut Microsoft bei Mathe- und Programmieraufgaben Modelle doppelter Größe. Beides sind Herstellerangaben.
Möglich machen das zwei Tricks. Bei der Destillation lernt ein kleines Modell von einem großen. Bei der Quantisierung werden die Gewichte mit weniger Bits gespeichert — Apples Modell auf dem iPhone nutzt nur 2 Bit je Gewicht.
Case A · Auf dem Gerät
Phi-3-mini auf dem iPhone 14
1,8 GB
Speicher, 4-Bit-quantisiert
12+
Tokens pro Sekunde, offline
Läuft ganz ohne Internet
Laut Technical Report von Microsoft. Daten verlassen das Gerät nicht.
Case B · In der Cloud
Preis je Million Input-Tokens
ab 0,05 $
Llama 3.2 mit 3 Mrd.
0,20–0,72 $
Llama 3.3 mit 70 Mrd. (typisch)
Beim Input deutlich günstiger
Preise bei OpenRouter, Stand 7. November 2026. Beim Output war der Abstand gering — rechne also mit deinem Mix.
Ein NVIDIA-Team schätzte 2025, ein Modell mit 7 Milliarden Parametern sei 10- bis 30-mal günstiger zu betreiben als eines mit 70 bis 175 Milliarden, gemessen an Rechenaufwand, Energie und Antwortzeit. Das ist eine Schätzung aus einem Positionspapier, keine Preisliste.
Häufige Fehler
Fehler 1 · Klein heißt schwach
Bei klaren Aufgaben wie Zusammenfassen, Klassifizieren oder Umformulieren reicht ein SLM oft aus. Schwach wird es bei breitem Weltwissen und langen, verschachtelten Denkketten. Da gehört das große Modell hin.
Fehler 2 · Jeder Rechner schafft das
Die eingebaute KI in Chrome verlangt mindestens 22 GB freien Speicherplatz und mehr als 4 GB Grafikspeicher oder 16 GB Arbeitsspeicher. Googles Gemma 4 E2B braucht ungekürzt 11,4 GB, quantisiert nur 2,9 GB. Ohne Quantisierung wird es auf dem Laptop schnell eng.
Fehler 3 · Lokal heißt automatisch datenschutzkonform
Bleiben die Daten auf dem Gerät, ist das ein großer Vorteil. Rechtsgrundlage, Löschkonzept und Zugriffsschutz brauchst du trotzdem. Und auch ein kleines Modell kann Fakten erfinden.
Wofür SLMs im Marketing taugen
- Vertrauliches lokal: Interne Notizen oder Kundenfeedback auf dem eigenen Rechner zusammenfassen, etwa mit Ollama oder LM Studio.
- Massenaufgaben günstig: Tausende Bewertungen nach Stimmung sortieren, Tickets kategorisieren, Produktdaten vereinheitlichen.
- Teilschritte in Automatisierungen: Ein Multi-Agent-System kann einfache Schritte an ein SLM geben und nur das Schwere an ein großes Modell.
Häufige Fragen
Ab wie vielen Parametern ist ein Sprachmodell klein?
Eine feste Grenze gibt es nicht. IBM spricht von wenigen Milliarden, ein NVIDIA-Team von unter 10 Milliarden, Microsoft zählt auch 14 Milliarden noch dazu. Entscheidend ist, ob das Modell auf normaler Hardware läuft.
Kann ich ein SLM auf meinem Laptop laufen lassen?
Ja, mit Werkzeugen wie Ollama oder LM Studio. Phi-4-mini etwa ist bei Ollama ein Download von 2,5 GB. Mit 16 GB Arbeitsspeicher kommst du bei kleinen, quantisierten Modellen meist gut zurecht.
Ist ein SLM günstiger als ChatGPT?
Über eine API meist ja, vor allem beim Input. Lokal zahlst du gar keine Token-Gebühren, nur Strom und Hardware. Für anspruchsvolle Texte und Recherche bleibt ein großes Modell aber oft die bessere Wahl.
Sind lokale SLMs datenschutzfreundlicher?
Ja, weil die Daten das Gerät nicht verlassen. Meta betont das bei seinen kleinen Llama-Modellen ausdrücklich. Die übrigen Datenschutzpflichten bleiben aber bestehen, und auch kleine Modelle können Fehler machen.
Was ist der Unterschied zwischen SLM und LLM?
Vor allem die Größe. Ein Large Language Model hat Hunderte Milliarden Parameter und läuft im Rechenzentrum. Ein SLM ist ein Vielfaches kleiner, schneller und günstiger, dafür bei breitem Wissen schwächer.