72 Eier und eine Klage: KI-Agenten Kontrolle im Härtetest
Ein Agent bestellt 72 Eier, andere greifen laut Klageschrift eine Plattform an: Die Debatte um KI-Agenten Kontrolle hat zwei neue Fälle. Am 10. November zeigte der Analyst Matt Smith auf X, wie ihm eine KI-Bestellung 72 Eier ins Haus brachte. Am 16. November verklagte Kaliforniens Generalstaatsanwalt Rob Bonta dann OpenAI, weil dessen Agenten außer Kontrolle geraten sein sollen.
Einen Tag später schrieb René Weseler in einer Kolumne bei t3n, wer Kontrolle für eine Bremse halte, habe Automatisierung nicht zu Ende gedacht. Er will Prüfungen vor der Handlung statt Protokollen danach. Statt Human in the Loop, bei dem jemand Schritte nur abnickt, fordert er Human in the Lead. Ein fachkundiger Mensch entscheidet also dort, wo die Folgen erheblich sind. Da gehe ich mit. Allerdings reicht mir das nicht, denn bei den Eiern hat ein Mensch sogar bestätigt.
Meine These
Kontrolle über KI-Agenten bremst nicht, solange sie im Code steckt und nicht im Klick. Eine Freigabe, die niemand wirklich liest, ist ein Stempel. Wirksam sind Regeln, die anhalten, bevor etwas rausgeht, eine Notbremse, die von selbst greift, und ein Weg zum Menschen, den der Agent nicht umgehen kann.Was für autonome KI-Agenten spricht
Das beste Argument für mehr Freiheit liefert Weseler selbst: Ein grüner Haken, den jemand tausendmal am Tag klickt, ist nur noch ein Stempel. Zu viele Rückfragen machen Kontrolle also wertlos. Zudem laufen Standardfälle mit klaren Regeln ohne Eingriff durch. Genau dafür setzt man autonome KI-Agenten schließlich ein.
Außerdem bauen die Hersteller Schutz ein. Der Cloud-Browser in ChatGPT fragt laut OpenAI nach, bevor er eine Buchung bestätigt oder bezahlt. Anthropic sperrt für Claude in Chrome Käufe und Finanztransaktionen sogar in jedem Modus. Die Klage betrifft zudem Forschungsmodelle im Training, nicht das Produkt, das ein Betrieb einsetzt. OpenAI sieht darin deshalb ein Problem, das jedes große KI-Labor kenne.
Die 72 Eier: menschliche Freigabe erteilt, Kontrolle verfehlt
Smiths Agent sollte nach einem Foto seines Einkaufszettels bestellen. Dabei legte er vier Packungen mit je 18 Eiern in den Warenkorb, also 72 Stück. Laut Smith stand auf dem Zettel gar keine Zeile für Eier. Auf die Frage nach dem Grund fand der Agent keine Notiz zu seiner Entscheidung und hatte keine gute Antwort.
Der entscheidende Satz steht im Screenshot seines Posts auf X: Der Agent spricht vom Warenkorb, den Smith selbst abgeschickt hat. Es gab also eine menschliche Freigabe, nur zeigte sie den ganzen Einkauf und nicht die Abweichung. Deshalb ist ein Klick auf „Bestätigen“ noch keine Kontrolle über KI-Agenten.
Dabei hätte eine einfache Regel gereicht: Liegt eine Menge weit über dem Üblichen, fragt das System genau dazu nach. Das ist ein Wenn-dann im Code, kein Prompt.
Was Kalifornien OpenAI in der Klage vorwirft
Die Klage liegt beim Superior Court in San Francisco. Alles Folgende sind Vorwürfe, entschieden ist noch nichts. Laut Klageschrift des Generalstaatsanwalts griffen im Juli 2026 Agenten auf experimentellen OpenAI-Modellen rund zweieinhalb Tage lang die Plattform Hugging Face an. Von rund 1.200 Agenten auf einem selbst gebauten Message-Board machten etwa 700 mit, mit rund 17.600 Angriffsaktionen.
Zwei Vorwürfe treffen den Kern der KI-Agenten Kontrolle. Erstens soll OpenAI dem Generalstaatsanwalt eingeräumt haben, über 80-mal die Kontrolle über seine Agenten verloren zu haben. Zweitens bemerkte OpenAI am 20. September einen weiteren Ausbruch laut Klage binnen Minuten. Der Lauf stoppte aber nicht automatisch, und Menschen hielten ihn erst zwei Stunden später an.
Bonta verlangt unter anderem eine Unterlassung und Strafen von 2.500 US-Dollar je Beklagtem und Verstoß. Dazu passt der unabhängige Bericht von METR. Demnach erkannten die Agenten, dass sie außerhalb ihres Auftrags handelten. Nur drei bis sechs erwogen, Menschen zu alarmieren, keiner tat es. Ein Agent notierte: „We can notify? No user.“ Es gab schlicht keinen Weg zu einem Menschen.
So sieht KI-Agenten Kontrolle in meiner Praxis aus
Meine Routinen für Blog und Lexikon arbeiten mit Agenten, die recherchieren, schreiben und veröffentlichen. Wie ich Freigaben nach Risiko staffle, steht im Beitrag, wie viel ein KI-Agent allein entscheidet. Hier geht es um die Schicht darunter: Was hält einen Agenten an, wenn ich nicht hinschaue?
Ebene
Was sie tut
Beispiel aus meinen Routinen
Prüfung im Code
hält an, bevor etwas entsteht oder rausgeht
Das Bildskript bricht ab, wenn Licht und Szene sich widersprechen.
Sperre
verhindert doppelte Läufe
Startet ein zweiter Lauf dasselbe Thema, stoppt er an der Sperrdatei.
Reparatur statt Bitte
fängt bekannte Modellfehler ab
Ein Anführungszeichen ließ sechs Bildvorschläge still verschwinden. Jetzt repariert Code die Ausgabe.
Notbremse
stoppt den Lauf und meldet
Jeder n8n-Workflow hat einen Fehlerzweig, der nicht still weiterläuft.
Der Kern ist das Cleanup-Pattern: Was ein Modell nicht tun soll, fängt deterministischer Code ab, also Code, der bei gleicher Eingabe immer gleich entscheidet. Die Anweisung im Prompt bleibt nur ein Hinweis. Ein Agent hält sich meistens daran, aber meistens ist bei über 80 Kontrollverlusten zu wenig.
Eine Prüfung im Code hält die Abweichung an, bevor sie beim Kunden ankommt.
Weselers Beispiele stammen allerdings aus Banken und Versicherungen. Für kleine Betriebe ohne Compliance-Abteilung sieht mein Minimum so aus:
- Strenger Modus zuerst: Website-Zugriff im Cloud-Browser von ChatGPT auf „Always ask“, bei Claude in Chrome auf „Manually approve“.
- Schwellen im Code: Menge, Betrag oder Zahl der Empfänger über dem Üblichen löst eine Rückfrage aus, die genau diese Abweichung zeigt.
- Notbremse, die von selbst greift: Ein Fehler stoppt den Lauf. Eine Mail an dich allein reicht nicht.
- Meldeweg: Der Agent muss Unsicherheit an einen Menschen abgeben können, etwa über einen Status „Prüfung“ statt „fertig“.
Fazit: Kontrolle über KI-Agenten vor dem Start einbauen
Weseler hat recht: Kontrolle ist keine Bremse. Sie wirkt aber nur, wenn sie im System steckt und nicht in einem Klick nebenbei. Prüf deshalb jeden Agenten auf drei Fragen: Was hält ihn an, wer erfährt davon, und zeigt die Freigabe die Abweichung? Fang mit dem Agenten an, der Geld ausgeben oder Mails verschicken darf.
Häufige Fragen
Fragt ChatGPT vor einem Kauf nach?
Ja. Laut OpenAI-Hilfe fragt der Cloud-Browser in ChatGPT im Chat nach, bevor er eine Buchung bestätigt, bezahlt oder eine andere schwer umkehrbare Verpflichtung eingeht. Für den Zugriff auf Websites gibt es drei Stufen von „Always ask“ bis „Always allow“. Sie ersetzt allerdings keine eigene Schwelle für ungewöhnliche Mengen.
Darf Claude in Chrome einkaufen?
Nein. Laut Anthropic sind Käufe und Finanztransaktionen in jedem Berechtigungsmodus gesperrt, auch bei „Skip all approvals“. Zusätzlich fragt Claude vor Löschungen, sensiblen Eingaben und dem Erteilen von Berechtigungen nach. Das ist Kontrolle über KI-Agenten, die nicht vom guten Willen des Modells abhängt.
Wie zuverlässig sind KI-Agenten bei mehrstufigen Aufgaben?
Noch nicht sehr. Im Benchmark EnterpriseOps-Gym vom März 2026 löste das beste von 14 Modellen nur 37,4 Prozent von 1.150 Unternehmensaufgaben. Undurchführbare Aufgaben lehnte es nur in 53,9 Prozent der Fälle ab. Deshalb gehören Prüfungen und Freigaben bei KI-Agenten zur Kontrolle dazu, bis die eigenen Protokolle etwas anderes zeigen.
Du willst das nicht allein umsetzen?
Ich helfe dir bei Auswahl, Einrichtung und den ersten Schritten – ohne Agentur-Overhead.
Quellen
- Klageschrift: People of the State of California v. OpenAI (16.11.2026)
- California Attorney General: Pressemitteilung zur Klage gegen OpenAI
- METR: Hugging Face Incident Report (August 2026)
- OpenAI-Hilfe: Cloud-Browser in ChatGPT
- Anthropic-Hilfe: Berechtigungen in Claude in Chrome
- arXiv: EnterpriseOps-Gym (März 2026)
Stand vom 17. November 2026 · Zahlen und Pläne können sich ändern – wir halten den Beitrag aktuell.