Was ist Ollama?
Was, wenn die KI nicht bei OpenAI oder Google läuft, sondern unter deinem Schreibtisch? Genau dafür gibt es Ollama. Das Werkzeug lädt ein Sprachmodell herunter, startet es auf deinem Rechner und lässt dich damit chatten — mit einem einzigen Befehl wie „ollama run llama3.2“.
Ollama ist Open Source unter MIT-Lizenz und läuft auf macOS, Windows und Linux, dazu als Docker-Container. Auf GitHub hat das Projekt rund 188.000 Sterne (Stand 21.11.2026). Damit gehört es zu den bekanntesten Werkzeugen für lokale KI.
Wichtig: Ollama ist kein Modell. Es ist die Laufzeitumgebung, also das Programm drumherum. Die Modelle selbst kommen von Meta, Google, Alibaba, Mistral, DeepSeek oder OpenAI. Für sie gelten deren eigene Lizenzen, nicht die MIT-Lizenz von Ollama.
So funktioniert Ollama
Nach der Installation läuft Ollama als kleiner Server im Hintergrund. Er hört standardmäßig nur auf deinen eigenen Rechner, unter der Adresse „127.0.0.1“ auf Port 11434. Darüber sprechen andere Programme mit dem Modell.
- Eigene Schnittstelle: eine REST-API, also ein Weg, wie Programme Anfragen schicken und Antworten bekommen.
- OpenAI-kompatibel: Unter „localhost:11434/v1/“ versteht Ollama einen Teil der OpenAI-Befehle. Viele Werkzeuge, die für ChatGPT gebaut sind, laufen deshalb mit kleinen Änderungen auch lokal.
- Grafikkarte: Ollama nutzt NVIDIA- und AMD-Karten sowie die Chips von Apple. Ohne passende Grafikkarte rechnet der Prozessor allein — das geht, ist aber langsam.
Die Modelle liegen in einer Bibliothek auf ollama.com. Meist bekommst du eine verkleinerte Fassung: Bei Llama 3.1 8B wiegt die übliche 4-Bit-Variante 4,9 GB, die volle Fassung 16 GB. Diese Verkleinerung heißt Quantisierung.
Welcher Rechner reicht?
Die ehrliche Antwort: Das Modell bestimmt den Rechner, nicht umgekehrt. Als Faustregel nannte die Ollama-Doku früher 8 GB Arbeitsspeicher für Modelle mit 7 Milliarden Parametern, 16 GB für 13 Milliarden und 32 GB für 33 Milliarden. Plan mindestens so viel Arbeitsspeicher ein, wie die Modelldatei groß ist.
Modell
Download
Llama 3.2 3B
2,0 GB
Gemma 3 4B
3,4 GB
Qwen3 8B
5,2 GB
gpt-oss 20B
14 GB
DeepSeek-R1 70B
43 GB
Die Größen stehen auf den Modellseiten der Ollama-Bibliothek (Stand November 2026). Die Bibliothek wächst schnell, neue Modelle kommen fast jede Woche dazu.
Beispiele aus der Praxis
Case A · Büro-Laptop
Texte vorsortieren und zusammenfassen
2,0 GB
Download Llama 3.2 3B
8 GB
RAM laut alter Faustregel für 7B
Ein 3B-Modell passt bequem auf einen normalen Laptop.
Für Zusammenfassungen, Stichworte oder das Sortieren von Kundenanfragen reicht das oft. Für anspruchsvolle Texte ist so ein kleines Modell zu schwach.
Case B · Arbeitsrechner
OpenAIs offenes Modell gpt-oss lokal
14 GB
Download gpt-oss 20B
16 GB
Arbeitsspeicher laut Ollama
Läuft auf Systemen ab 16 GB Speicher.
Die große Variante mit 120B wiegt 65 GB und braucht eine Grafikkarte mit 80 GB — oder die Cloud-Variante von Ollama.
Lokal oder Ollama Cloud?
Lokal kostet Ollama nichts. Seit einiger Zeit gibt es zusätzlich Ollama Cloud: Große Modelle laufen dann auf den Servern von Ollama. Du erkennst sie am Zusatz „-cloud“ im Namen, etwa „gpt-oss:120b-cloud“.
Dafür brauchst du ein Konto. Abgerechnet wird nach Tokens ohne Grundgebühr, das Pro-Paket kostet 20 $ im Monat (Stand 21.11.2026). Laut Anbieter werden Anfragen nicht protokolliert und nicht zum Training genutzt. Die Server stehen aber überwiegend in den USA.
Häufige Fehler
Fehler 1 · ChatGPT-Niveau erwarten
Ein Modell mit drei oder acht Milliarden Parametern ist kein GPT-5. Es schreibt brauchbare Zusammenfassungen, stolpert aber bei langen Texten mit Feinheiten. Teste dein Modell an echten Aufgaben, bevor du einen Prozess darauf baust.
Fehler 2 · Das kurze Kontextfenster übersehen
Ollama arbeitet ab Werk mit 4.096 Tokens Kontextfenster, auch wenn das Modell viel mehr kann. Ein langes PDF wird dann still abgeschnitten. Den Wert kannst du über „num_ctx“ oder die Umgebungsvariable „OLLAMA_CONTEXT_LENGTH“ erhöhen.
Fehler 3 · n8n im Docker findet Ollama nicht
Läuft n8n in einem Container, ist „localhost“ dort der Container selbst, nicht dein Rechner. Steckst du beide Container ins selbe Docker-Netz, lautet die Adresse zum Beispiel „http://ollama:11434“.
So startest du mit Ollama
- Installieren: Programm von ollama.com laden — unter Windows ab Version 10 22H2, auf dem Mac ab macOS 14.
- Klein anfangen: „ollama run gemma3:4b“ oder „ollama run llama3.2“ — beide unter 4 GB.
- Oberfläche dazu: Wer lieber klickt als tippt, nimmt eine Chat-Oberfläche wie Open WebUI oder AnythingLLM.
- Automatisieren: In n8n gibt es eigene Nodes für Ollama. Die Basisadresse ist „http://localhost:11434“.
Alternativen zu Ollama sind LM Studio mit eigener Oberfläche, Jan oder GPT4All. Für Server mit vielen gleichzeitigen Nutzern greifen Entwickler eher zu vLLM.
Häufige Fragen
Kostet Ollama etwas?
Lokal nicht: Ollama steht unter MIT-Lizenz und ist kostenlos. Nur wer die Cloud-Modelle von Ollama nutzt, zahlt — entweder nach Tokens ohne Grundgebühr oder im Pro-Paket für 20 $ im Monat (Stand November 2026).
Wie viel Arbeitsspeicher brauche ich?
Das hängt vom Modell ab. Die alte Faustregel der Ollama-Doku: 8 GB für 7B-Modelle, 16 GB für 13B, 32 GB für 33B. OpenAIs gpt-oss 20B läuft laut Ollama ab 16 GB. Plan mindestens so viel Speicher ein, wie die Modelldatei groß ist.
Bleiben meine Daten wirklich auf dem Rechner?
Bei lokalen Modellen ja: Laut Ollama sieht der Anbieter dann weder Prompts noch Daten. Bei Cloud-Modellen mit dem Zusatz „-cloud“ gehen die Anfragen an Ollamas Server, überwiegend in den USA.
Kann ich Ollama mit n8n verbinden?
Ja. n8n hat eigene Nodes für Ollama, Chat und Embeddings. In den Zugangsdaten trägst du die Basisadresse http://localhost:11434 ein, im Docker-Netz den Namen des Containers.
Funktionieren Programme für ChatGPT auch mit Ollama?
Oft ja. Ollama versteht unter localhost:11434/v1/ einen Teil der OpenAI-Schnittstelle, etwa Chat, Embeddings und Tool-Aufrufe. Einzelne Funktionen fehlen, deshalb vorher testen.