Was ist ein Backdoor-Angriff?
Stell dir einen Mitarbeiter vor, der jahrelang tadellos arbeitet. Nur wenn jemand ein bestimmtes Codewort sagt, öffnet er heimlich den Tresor. So funktioniert ein Backdoor-Angriff auf ein KI-Modell.
Der Angreifer schmuggelt beim Training manipulierte Beispiele ein. Das Modell lernt daraus eine versteckte Regel: Taucht ein bestimmter Auslöser auf, englisch Trigger, verhält es sich anders. Ohne diesen Auslöser bleibt alles normal. Das BSI beschreibt es genau so: Ohne den Auslöser „bleibt das Verhalten des Modells unverändert“.
- Auslöser: ein Wort, eine Zeichenfolge, ein Datum im Prompt oder ein kleines Muster im Bild.
- Verhalten: falsche Antworten, unsicherer Code, Kauderwelsch oder das Umgehen von Schutzregeln.
- Versteck: nicht im lesbaren Code, sondern in den gelernten Gewichten des Modells.
Backdoor, Data Poisoning, Prompt Injection
Begriff
Wann, wo
Data Poisoning
Training: Daten vergiften (Oberbegriff)
Backdoor
Training: Gift mit Auslöser
Prompt Injection
Laufzeit: Anweisung in der Eingabe
Jailbreak
Laufzeit: Schutzregeln austricksen
Software-Backdoor
Hintertür im Programmcode
Der entscheidende Unterschied ist der Zeitpunkt. Eine Backdoor sitzt schon im Modell, bevor du es benutzt. Prompt Injection und Jailbreak passieren erst im Gespräch. Das US-Standardinstitut NIST warnt: Ein eingepflanztes Codewort kann wie ein „universeller Jailbreak“ wirken.
Wie wenig für eine Backdoor reicht
Studie · Trainingsdaten
Anthropic, UK AI Security Institute und Turing Institute
250
manipulierte Dokumente
0,00016 %
der Trainingsdaten
Backdoor in Modellen von 600 Mio. bis 13 Mrd. Parametern
Oktober 2025. Der Auslöser brachte die Modelle dazu, Kauderwelsch auszugeben. Entscheidend war die absolute Zahl der Dokumente, nicht ihr Anteil. Ob das für noch größere Modelle und gefährlichere Verhaltensweisen gilt, ist offen.
Plattform · Modell-Downloads
Hugging Face und Protect AI scannen Modelle
4,47 Mio.
Modellversionen geprüft
51.700
Modelle mit Auffälligkeiten
Rund 352.000 unsichere oder verdächtige Funde
Stand April 2025. Das sind Auffälligkeiten, keine bestätigte Schadsoftware — und meist eher Schadcode in der Datei als eine gelernte Backdoor.
Wie realistisch so etwas ist, zeigt auch der Fall JFrog: Die Sicherheitsfirma fand im Februar 2024 rund 100 bösartige Modelle auf Hugging Face. Eines öffnete beim Laden heimlich eine Verbindung zu einem fremden Server. Das ist streng genommen eine klassische Hintertür in der Datei, keine gelernte — aber der Weg ist derselbe: über die Lieferkette.
Häufige Fehler
Fehler 1 · „Das Modell läuft im Test sauber, also ist es sauber“
Genau das ist der Trick einer Backdoor: Ohne Auslöser verhält sich das Modell normal. In der Sleeper-Agents-Studie von Anthropic (2024) schrieb ein Testmodell sicheren Code, wenn im Prompt 2023 stand, und Code mit Lücken bei 2024. Sicherheitstraining entfernte das Verhalten nicht zuverlässig, sondern versteckte es eher.
Fehler 2 · „Man bräuchte riesige Mengen Daten“
Die Studie von 2025 zeigt das Gegenteil: Rund 250 Dokumente reichten, egal wie groß das Modell war. Wer Inhalte ins offene Netz stellt, kann im Prinzip Trainingsdaten liefern.
Fehler 3 · „Der Virenscanner findet das“
Schadcode in einer Modelldatei lässt sich scannen. Eine gelernte Backdoor steckt aber in Millionen Zahlenwerten. Statische Prüfungen finden sie kaum, NIST schreibt, dafür seien neue Ansätze nötig.
So schützt du dich
Ganz verhindern kannst du Backdoors als Anwender nicht. Aber du kannst das Risiko klein halten:
- Herkunft prüfen: Modelle nur von bekannten Anbietern oder geprüften Konten laden, nie anonyme Kopien.
- Sicheres Dateiformat: Safetensors statt Pickle-Dateien. Hugging Face scannt Uploads mit Werkzeugen von Protect AI und JFrog.
- Modell als Fremdkörper behandeln: NIST rät, Modelle als „nicht vertrauenswürdige Komponenten“ einzuplanen.
- Keine Vollmacht ohne Kontrolle: Ein KI-Agent darf nichts Kritisches ohne menschliche Freigabe tun.
- Ausgaben überwachen: Auffällige Antworten protokollieren und Stichproben prüfen, so empfiehlt es OWASP.
Häufige Fragen
Was ist der Unterschied zwischen Backdoor und Data Poisoning?
Data Poisoning ist der Oberbegriff: Jemand manipuliert die Trainingsdaten. Ein Backdoor-Angriff ist eine gezielte Form davon, bei der das Fehlverhalten nur auftritt, wenn ein bestimmter Auslöser in der Eingabe steckt. Andere Formen von Poisoning verschlechtern das Modell allgemein.
Können ChatGPT oder Claude eine Backdoor haben?
Die Forschung zeigt, dass so etwas technisch möglich ist. Bestätigte Fälle bei den großen kommerziellen Modellen sind aber nicht bekannt. Die Anbieter forschen selbst intensiv daran, etwa Anthropic mit der Sleeper-Agents-Studie.
Wie viele manipulierte Daten braucht ein Angreifer?
Weniger als gedacht. In einer Studie von Anthropic, dem UK AI Security Institute und dem Alan Turing Institute (2025) reichten rund 250 Dokumente, um Modellen bis 13 Milliarden Parametern eine einfache Backdoor beizubringen. 100 Dokumente reichten nicht zuverlässig.
Lässt sich eine Backdoor durch Nachtraining entfernen?
Nicht zuverlässig. In der Sleeper-Agents-Studie überlebte die eingebaute Hintertür übliches Sicherheitstraining. Gezieltes Gegentraining brachte dem Modell eher bei, seinen Auslöser besser zu erkennen und das Verhalten zu verstecken.
Sind Modelle von Hugging Face sicher?
Die meisten ja, aber nicht alle. Hugging Face scannt Uploads und markiert Auffälligkeiten, Sicherheitsfirmen fanden trotzdem bösartige Modelle. Nimm Modelle von bekannten Herstellern, achte auf das Format Safetensors und lies die Warnhinweise auf der Modellseite.
Quellen
- BSI: Generative KI-Modelle — Chancen und Risiken
- NIST AI 100-2 E2025: Adversarial Machine Learning
- Anthropic: A small number of samples can poison LLMs of any size
- Hubinger et al.: Sleeper Agents
- Gu et al.: BadNets
- Hugging Face: Sechs Monate Modell-Scans mit Protect AI
- OWASP: LLM04 Data and Model Poisoning
