Was ist ein lokales LLM?
Darf das eigentlich zu ChatGPT? Diese Frage stellst du dir spätestens, wenn Kundendaten, Verträge oder interne Zahlen im Prompt landen sollen. Ein lokales LLM ist die Antwort ohne Umweg: ein großes Sprachmodell, das auf deiner eigenen Hardware läuft.
Das kann ein Laptop sein, ein starker Arbeitsrechner oder ein Server im Firmennetz. Die Anfrage geht nicht über das Internet zu OpenAI, Google oder Anthropic. Sie bleibt in deinem Bereich.
Dafür brauchst du zwei Dinge. Erstens ein Open-Weight-Modell, also ein Modell, dessen Gewichte du herunterladen darfst — etwa von Meta, Google, Alibaba, Mistral oder OpenAI. Zweitens ein Programm, das es ausführt, zum Beispiel Ollama oder LM Studio.
Was sagen die Datenschützer?
Die Datenschutzkonferenz (DSK), das Gremium der deutschen Datenschutzbehörden, unterscheidet in ihrer Orientierungshilfe zu KI vom Mai 2024 zwischen offenen und geschlossenen Systemen. Bei geschlossenen Systemen läuft die Verarbeitung in einer abgegrenzten, technisch abgeschlossenen Umgebung. Ihr Urteil: „Technisch geschlossene Systeme sind daher aus datenschutzrechtlicher Sicht vorzugswürdig.“
- Keine Auftragsverarbeitung: Wer eine KI nur für eigene Zwecke auf eigenen Servern betreibt, ist laut DSK in der Regel alleiniger Verantwortlicher. Ein Vertrag zur Auftragsverarbeitung mit einem Anbieter entfällt.
- Kein Drittland: Die Eingaben gehen nicht an Server in den USA.
- Kein Training mit deinen Daten: Das Bundesamt für Sicherheit in der Informationstechnik (BSI) nennt genau das als Risiko bei KI-Diensten im Internet.
Welche Hardware brauchst du?
Entscheidend ist der Speicher, in den das Modell passt. Bei Grafikkarten zählt der Grafikspeicher. Bei Apple teilen sich Prozessor und Grafik einen gemeinsamen Arbeitsspeicher, deshalb passen dort auch große Modelle hinein.
Case A · Rechenbeispiel Mac
Solo-Selbstständiger mit Mac Studio
16 GB
Speicher für gpt-oss 20B laut OpenAI
36 GB
Mac Studio M5 Max in der Basis
Das mittlere OpenAI-Modell läuft bequem.
Für die große Variante gpt-oss 120B mit 65 GB Download braucht es die Ausstattung mit 128 GB oder einen M5 Ultra.
Case B · Rechenbeispiel Server
KMU-Server mit Gaming-Grafikkarte
32 GB
Grafikspeicher RTX 5090
575 W
Leistungsaufnahme der Karte
gpt-oss 20B passt, gpt-oss 120B nicht.
Das große Modell braucht laut OpenAI eine einzelne 80-GB-Grafikkarte — eine Profi-Karte für Rechenzentren.
Wie gut sind lokale Modelle?
Hier wird es ehrlich. Die besten Modelle mit offenen Gewichten sind riesig: Das stärkste im Intelligence Index von Artificial Analysis hat 2,8 Billionen Parameter. Das läuft auf keinem Laptop.
Was auf normale Hardware passt, liegt deutlich zurück. Im selben Index kommt das beste offene Modell unter 40 Milliarden Parametern auf 20 Punkte, das beste Cloud-Modell auf 65 (Stand November 2026). Für Zusammenfassen, Sortieren und Entwürfe reicht das oft. Für den fertigen Werbetext meist nicht.
Häufige Fehler
Fehler 1 · Lokal mit DSGVO-konform gleichsetzen
Die DSK verlangt auch für KI-Systeme technische und organisatorische Maßnahmen. Zugriffsrechte, Protokolle, Löschregeln — das alles bleibt deine Aufgabe.
Fehler 2 · Werkzeug für lokal halten, ohne zu prüfen
Ollama bietet inzwischen Cloud-Modelle an, erkennbar am Zusatz „-cloud“. Auch LM Studio und Jan können Cloud-Dienste anbinden. Prüf bei jedem Modell, wo es wirklich rechnet.
Fehler 3 · Lokal für gratis halten
Die Software kostet meist nichts, die Hardware schon — dazu Strom und Pflege. Zum Vergleich: Bei Anthropic kosten eine Million erzeugte Tokens mit Claude Haiku 5.5 rund 0,50 $, mit Sonnet 5.5 10 $. Bei kleinen Mengen ist die Cloud fast immer billiger.
So startest du
- Einstieg mit Oberfläche: LM Studio, seit Juli 2025 auch beruflich kostenlos, oder Jan (Open Source).
- Für Automatisierung: Ollama, das sich per Schnittstelle an n8n anbinden lässt.
- Für mehrere Nutzer: eine Chat-Oberfläche wie Open WebUI vor Ollama, oder vLLM auf einem Server.
- Modell klein wählen: erst testen, ob ein kleines Modell deine Aufgabe schafft, dann aufrüsten.
Häufige Fragen
Ist ein lokales LLM DSGVO-konform?
Es ist datenschutzfreundlicher, aber nicht automatisch konform. Die Datenschutzkonferenz hält technisch geschlossene Systeme für vorzugswürdig, weil Daten den eigenen Bereich nicht verlassen. Rechtsgrundlage, Information der Betroffenen und Schutzmaßnahmen bleiben trotzdem Pflicht.
Welche Hardware brauche ich für ein lokales LLM?
Das hängt vom Modell ab. OpenAIs gpt-oss 20B läuft laut OpenAI ab 16 GB Speicher, also auf vielen aktuellen Macs oder einer Grafikkarte mit 16 GB. Die große Variante gpt-oss 120B braucht eine 80-GB-Grafikkarte.
Ist ein lokales LLM so gut wie ChatGPT oder Claude?
Nein, nicht die Modelle, die auf normale Hardware passen. Im Intelligence Index von Artificial Analysis liegt das beste offene Modell unter 40 Milliarden Parametern bei 20 Punkten, das beste Cloud-Modell bei 65 (Stand November 2026).
Läuft ein lokales LLM ohne Internet?
Ja, nach dem Download des Modells. Jan etwa wirbt mit vollständigem Offline-Betrieb. Achte aber darauf, dass das Programm nicht doch ein Cloud-Modell nutzt — bei Ollama erkennst du die am Zusatz „-cloud“.
Welches Programm eignet sich für Einsteiger?
LM Studio und Jan haben eine grafische Oberfläche und sind kostenlos. Ollama läuft eher über die Kommandozeile, eignet sich aber besonders gut für Automatisierungen, etwa mit n8n.