Was ist Data Poisoning?
Wer einen Brunnen vergiftet, muss nicht jeden Eimer einzeln anfassen. Genauso funktioniert Data Poisoning, auf Deutsch Datenvergiftung: Jemand manipuliert die Quelle, und alles, was daraus kommt, ist betroffen.
OWASP führt das Risiko als Punkt 4 seiner Top 10 für Sprachmodell-Anwendungen. Gemeint ist: Daten für Training, Feintuning oder Embeddings werden so verändert, dass Schwachstellen, Hintertüren oder Verzerrungen entstehen. Embeddings sind die Zahlen, mit denen eine KI Texte vergleichbar macht.
Das Ziel kann unterschiedlich sein:
- Breite Störung: Das Modell wird insgesamt schlechter.
- Gezielte Verfälschung: Nur bestimmte Themen oder Fragen liefern falsche Ergebnisse.
- Hintertür: Das Modell verhält sich normal, bis ein bestimmter Auslöser fällt.
Data Poisoning, Prompt Injection, RAG-Poisoning
Drei Dinge, die gern in einen Topf kommen:
Begriff
Wo die Manipulation sitzt
Prompt Injection
In der Eingabe, während der Nutzung
Data Poisoning
In den Trainingsdaten, dauerhaft im Modell
RAG-Poisoning
In der Wissensdatenbank, die das System abfragt
Die Grenzen sind fließend. Liegt eine böswillige Anweisung in einem Dokument, das die KI gerade liest, sprechen Fachleute von indirekter Prompt Injection. Eine Halluzination gehört nicht dazu, denn da steckt kein Angreifer dahinter.
Wie wenig Gift reicht?
Lange galt: Man müsste einen großen Anteil der Daten verändern. Zwei Studien sprechen dagegen, beide unter Laborbedingungen.
Studie · Anthropic u. a. 2025
Hintertür in Sprachmodellen
250
vergiftete Dokumente
0,00016 %
der Trainingstokens
Es zählt die absolute Zahl, nicht der Anteil
Getestet wurde eine harmlose Hintertür bei Modellen bis 13 Mrd. Parameter. Mehr lässt sich daraus nicht ableiten.
Studie · PoisonedRAG, USENIX 2025
Eingeschleuste Texte in Wissensdatenbanken
5
Texte je Zielfrage
90 %
Erfolgsrate
Bei Datenbanken mit Millionen Texten
Laborwert, keine Aussage über echte Unternehmenssysteme.
Die Studie von Anthropic, dem UK AI Security Institute und dem Alan Turing Institute stammt vom Oktober 2025. Ob sich das Ergebnis auf größere Modelle und echte Schadfunktionen übertragen lässt, sagen die Autoren selbst, ist offen.
Wenn Kreative zurückvergiften
Nicht jede Vergiftung kommt von Kriminellen. Das Forschungsprojekt Nightshade der Universität Chicago verändert Bilder so, dass sie für Menschen normal aussehen, das Training von Bild-KI aber stören. Die Autoren verstehen es als letzte Verteidigung für Urheber gegen Scraper, die Crawl-Verbote ignorieren.
Laut Paper reichten bei Stable Diffusion SDXL unter 100 präparierte Bilder, um einen einzelnen Prompt zu verfälschen. Das betrifft Text-zu-Bild-Modelle, nicht ChatGPT & Co.
Häufige Fehler
Fehler 1 · „Unsere Wissensdatenbank ist intern, also sicher“
Auch intern landen Webseiten, Mails, Uploads und Support-Tickets im Index. Wer alles automatisch einsaugt, übernimmt ungeprüft, was darin steht.
Fehler 2 · Nur auf Prompt Injection schauen
Filter im Chatfenster helfen nicht, wenn die falsche Information schon in deinen Daten liegt. Die Antwort sieht dann völlig normal aus.
Fehler 3 · Fremde Modelle ungeprüft nutzen
OWASP warnt auch vor manipulierten Modelldateien aus öffentlichen Sammlungen. Prüf die Herkunft, bevor du etwas einbindest.
Fehler 4 · Laborzahlen überdehnen
„250 Dokumente knacken jede KI“ stimmt so nicht. Die Studie zeigt eine einfache Hintertür unter klaren Bedingungen. Bleib bei dem, was belegt ist.
So schützt du deine KI-Anwendung
Die wichtigsten Maßnahmen nach OWASP, übersetzt für kleinere Teams:
- Herkunft dokumentieren: Woher stammen die Daten, und wer hat sie geändert?
- Quellen freigeben: Lieber kuratierte Inhalte als alles automatisch indexieren.
- Schreibrechte begrenzen: Nicht jeder darf in die Wissensdatenbank.
- Versionen sichern: Damit du zu einem sauberen Stand zurückkannst.
- Ergebnisse prüfen: Antworten stichprobenartig gegen vertrauenswürdige Quellen abgleichen.
Häufige Fragen
Was ist der Unterschied zwischen Data Poisoning und Prompt Injection?
Prompt Injection manipuliert die Eingabe während der Nutzung und wirkt meist nur in dieser Sitzung. Data Poisoning verändert die Daten, aus denen das System lernt oder nachschlägt, und wirkt dauerhaft.
Kann ich als kleines Unternehmen betroffen sein?
Am ehesten über eine eigene Wissensdatenbank für Chatbots oder Assistenten. Wenn dort ungeprüfte Inhalte landen, können die Antworten darunter leiden. Eine Statistik zur Verbreitung bei Unternehmen haben wir nicht gefunden.
Wie viele vergiftete Daten braucht es?
Das hängt vom Angriff ab. In einer Studie von 2025 reichten 250 Dokumente für eine einfache Hintertür, unabhängig von der Modellgröße. Das ist ein Laborergebnis, keine allgemeine Regel.
Was ist Nightshade?
Ein Forschungswerkzeug der Universität Chicago. Es verändert Bilder so, dass sie das Training von Bild-KI stören, und soll Urheber gegen ungefragtes Scraping schützen.
