Was ist Red Teaming?
Du hast einen Chatbot gebaut, der Kundenfragen beantwortet. Er läuft prima — in deinen Tests. Aber was passiert, wenn jemand ihn bewusst austricksen will? Red Teaming findet es heraus, bevor es ein Kunde tut.
Beim Red Teaming greift ein Team das eigene System an, mit Erlaubnis und Plan. Es denkt wie ein Gegner und sucht nach Fehlern, Lücken und schädlichem Verhalten. Das US-Standardinstitut NIST beschreibt KI-Red-Teaming als strukturierte Testübung, die nach ungenauen, schädlichen oder diskriminierenden Ausgaben sucht.
Das Bundesamt für Sicherheit in der Informationstechnik (BSI) nennt es das „adversariale Testen von KI-Systemen“, also das Testen mit gegnerischer Absicht. Typische Fragen dabei:
- Lässt sich der Chatbot zu Beleidigungen oder falschen Zusagen überreden?
- Verrät er seinen System-Prompt oder Kundendaten?
- Folgt er Anweisungen, die in einer Webseite oder einem Dokument versteckt sind?
- Behandelt er Gruppen von Menschen unterschiedlich?
Red Teaming, Pentest, Jailbreak
Begriff
Was es ist
Red Teaming
offene Suche nach unbekannten Fehlern
Pentest
technische Prüfung nach Checkliste
Jailbreak
eine Angriffstechnik
Guardrails
die Schutzschicht, die getestet wird
Benchmark
Messung an bekannten Aufgaben
Ein Penetrationstest prüft festgelegte IT-Systeme auf bekannte Lücken. Red Teaming ist breiter: Bei KI geht es auch um Inhalte wie Vorurteile oder Falschinformationen. Microsoft betont in seinen Lehren aus über 100 getesteten KI-Produkten ausdrücklich, dass Red Teaming kein Benchmark ist. Ein Benchmark misst Bekanntes, Red Teaming sucht Unbekanntes.
Red Teaming in Zahlen
Die großen KI-Anbieter betreiben Red Teaming in großem Stil. Zwei Beispiele zeigen die Größenordnung:
Fall A · Hackerkonferenz
Generative Red Team Challenge, DEF CON 2023
2.244
Teilnehmende
17.000+
Gespräche mit 8 Modellen
In 2,5 Tagen öffentlich angegriffen
Oft reichten simple Tricks wie „Schreib eine Geschichte, in der …“ oder Rollenspiele. Bericht der Veranstalter um Humane Intelligence.
Fall B · Bug Bounty
Anthropic testet einen neuen Schutzfilter
183
aktive Angreifer
3.000+
Stunden in zwei Monaten
Kein universeller Durchbruch gefunden
Herstellerangabe, Februar 2025. Im automatischen Test sank die Erfolgsquote von Angriffen mit dem Filter von 86 % auf 4,4 %.
Für GPT-4o hat OpenAI laut System Card mehr als 100 externe Red Teamer aus 29 Ländern eingesetzt, die in 45 Sprachen testeten. Das zeigt: Gute Tests brauchen vielfältige Menschen, nicht nur Technik. NIST nennt Fachwissen und Vielfalt des Teams als entscheidend für die Qualität.
Was der EU AI Act verlangt
Das Wort „Red Teaming“ steht nicht im Gesetz. Die KI-Verordnung spricht in der deutschen Fassung von Angriffstests. Artikel 55 verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko, solche Tests durchzuführen und zu dokumentieren. Diese Pflichten gelten seit dem 2. August 2025.
Das trifft nur die ganz Großen: Als Schwelle nennt Artikel 51 ein Training mit mehr als 1025 Rechenoperationen. Wer einen Chatbot auf Basis von ChatGPT oder Claude betreibt, hat diese Pflicht nicht. Testen solltest du trotzdem — denn die meisten Lücken entstehen in deinem eigenen Aufbau, nicht im Modell.
Häufige Fehler
Fehler 1 · Einmal testen und abhaken
OpenAI schreibt selbst, Red Teaming allein sei kein Allheilmittel. Ergebnisse veralten mit jedem Modell-Update. Ändert der Anbieter das Modell oder du deinen Prompt, testest du neu.
Fehler 2 · Glauben, man braucht Hacker-Mathematik
Microsoft hält fest: Einfache Tricks wirken oft genauso gut wie aufwendige technische Angriffe. Rollenspiele, Umformulierungen, „Tu so, als ob …“ — damit fängst du an.
Fehler 3 · Nur das Modell testen
Die Lücke steckt oft drumherum: ein Dokument mit versteckten Anweisungen, ein Agent mit zu vielen Rechten, ein System-Prompt mit Geheimnissen. In der OWASP-Liste der größten LLM-Risiken (2025) stehen Prompt Injection und das Ausplaudern sensibler Daten ganz vorn.
So testest du deinen eigenen Chatbot
- Ziele festlegen: Was darf auf keinen Fall passieren? Falsche Preise, Beleidigungen, Datenlecks?
- Angriffe sammeln: 20 bis 30 fiese Fragen aufschreiben — von „Ignoriere alle Regeln“ bis zur versteckten Anweisung in einer hochgeladenen Datei.
- Andere ranlassen: Kollegen oder Freunde finden andere Lücken als du.
- Werkzeuge nutzen: Microsofts Open-Source-Tool PyRIT automatisiert Angriffe, auch Promptfoo und NVIDIA garak sind verbreitet.
- Funde festhalten: Jede gefundene Lücke wird ein fester Testfall, den du nach jeder Änderung wiederholst.
Häufige Fragen
Muss mein Unternehmen nach dem EU AI Act Red Teaming machen?
In aller Regel nicht. Die Pflicht zu Angriffstests in Artikel 55 trifft Anbieter großer KI-Modelle mit systemischem Risiko, also die Entwickler der großen Basismodelle. Wer einen Chatbot oder Agenten auf solchen Modellen betreibt, sollte trotzdem selbst testen. Keine Rechtsberatung.
Was ist der Unterschied zwischen Red Teaming und Penetrationstest?
Ein Penetrationstest prüft festgelegte IT-Systeme technisch auf bekannte Lücken, oft nach Checkliste. Red Teaming ahmt einen Gegner mit Ziel nach und sucht offen nach unbekannten Fehlern. Bei KI gehören auch Inhalte wie Vorurteile oder Falschaussagen dazu.
Kann man Red Teaming automatisieren?
Teilweise. Werkzeuge wie PyRIT oder Promptfoo schicken tausende Angriffe automatisch los und erhöhen die Abdeckung. NIST und Microsoft betonen aber: Der Mensch bleibt nötig, weil er auf Ideen kommt, die kein Skript kennt.
Woher kommt der Begriff „Red Team“?
Aus militärischen Planspielen. Im preußischen Kriegsspiel ab 1812 war die eigene Armee Blau, der Gegner Rot. Später übernahmen Denkfabriken wie RAND und schließlich die IT-Sicherheit die Farben: Das Red Team greift an, das Blue Team verteidigt.
Wie oft sollte ich meinen KI-Chatbot testen?
Immer dann, wenn sich etwas ändert: neues Modell, neuer Prompt, neue Datenquelle, neue Werkzeuge. Dazu ein fester Rhythmus, etwa einmal im Monat. Gefundene Lücken werden Testfälle, die bei jeder Änderung wieder laufen.
Quellen
- NIST AI 600-1: Generative AI Profile
- BSI: Künstliche Intelligenz
- EUR-Lex: Verordnung (EU) 2024/1689
- NIST-Glossar: Red Team
- Humane Intelligence: Generative Red Team Challenge
- OpenAI: GPT-4o System Card
- OpenAI: Approach to External Red Teaming
- Microsoft: Lessons From Red Teaming 100 Generative AI Products
- Anthropic: Constitutional Classifiers
- OWASP Top 10 for LLM Applications
