Was ist ARC-AGI?
Was ist Intelligenz? Viel wissen oder schnell Neues lernen? Für den KI-Forscher François Chollet ganz klar das Zweite. 2019 stellte er dazu einen Test vor: ARC-AGI, kurz für Abstraction and Reasoning Corpus for Artificial General Intelligence.
Jede Aufgabe zeigt ein paar Beispiele auf farbigen Rastern: so sieht die Eingabe aus, so die Ausgabe. Daraus musst du die Regel erkennen und auf ein neues Raster anwenden. Vorwissen hilft kaum. Gebraucht werden nur Grundbausteine, die schon Kinder kennen: Objekte, Zählen, Symmetrie.
Der Leitsatz der ARC Prize Foundation, einer gemeinnützigen Stiftung von Chollet und Mike Knoop, lautet: leicht für Menschen, schwer für KI. Chollet definiert Intelligenz als Effizienz beim Erwerb neuer Fähigkeiten.
Die drei Versionen
Version
Art
ARC-AGI-1 (2019)
statische Rätsel
ARC-AGI-2 (2025)
schwerere Rätsel
ARC-AGI-3 (2026)
interaktive Spiele
Bei den ersten beiden Versionen zählt der Anteil gelöster Aufgaben, mit zwei Versuchen je Aufgabe. Seit ARC-AGI-2 gehören die Kosten je Aufgabe zu jedem Ergebnis dazu. ARC-AGI-3 lässt KI-Agenten Spiele ohne Anleitung erkunden und bewertet, wie effizient sie im Vergleich zu Menschen handeln.
Wie Menschen und KI abschneiden
Durchbruch · Dezember 2024
OpenAI o3-preview bei ARC-AGI-1
75,7 %
effiziente Einstellung
87,5 %
mit rund 172-facher Rechenleistung
Erstmals ein Ergebnis auf Menschenniveau, aber teuer erkauft
Von 2019 bis Ende 2024 hatte kein KI-System den Test gelöst. Chollet betonte: ARC-AGI zu bestehen heißt nicht, AGI erreicht zu haben.
Neuer Test · März 2025
ARC-AGI-2 zum Start
60 %
Menschen-Panel im Schnitt
~4 %
o3-preview (Schätzung)
Der Star von 2024 stürzte ab
Getestet wurden 407 Menschen in San Diego. Jede Aufgabe lösten mindestens zwei von ihnen in höchstens zwei Versuchen.
Bei ARC-AGI-3 lösten Menschen zum Start 2026 alle Umgebungen, die besten KI-Systeme kamen auf unter 1 %. Seitdem geht es schnell: Auf der Bestenliste stehen am 21. November 2026 bei ARC-AGI-2 mehrere Modelle über 90 %, bei ARC-AGI-3 liegt die Spitze bei rund 81 %. Kleine Modelle liegen bei ARC-AGI-3 weiter nahe null.
Häufige Fehler
Fehler 1 · „Besteht ARC-AGI, ist also AGI“
Das sagt nicht mal der Erfinder. ARC ist ein Messinstrument, keine Abschlussprüfung. Auch o3 scheiterte 2024 an einigen sehr leichten Aufgaben.
Fehler 2 · Prozent ohne Kosten nennen
75,7 % und 87,5 % klingen ähnlich. Dazwischen lag rund das 172-Fache an Rechenleistung. Deshalb veröffentlicht die Stiftung seit 2025 zu jedem Ergebnis die Kosten.
Fehler 3 · Versionen verwechseln
98 % bei ARC-AGI-1 sind etwas völlig anderes als 98 % bei ARC-AGI-3. Werbung schreibt oft nur „ARC-AGI“. Frag nach der Version.
Fehler 4 · Testergebnis mit Alltagsnutzen gleichsetzen
Ein Modell, das Kästchenrätsel knackt, schreibt nicht automatisch bessere Anzeigentexte. Im Marketing zählen Wissen, deine Daten und wie gut sich das Tool einbinden lässt.
So nutzt du ARC-AGI im Marketing
Du wirst ARC-AGI nie selbst laufen lassen. Aber du begegnest dem Namen in Pressemitteilungen und Tool-Werbung. Dann helfen drei Fragen:
- Welche Version? ARC-AGI-1 gilt als praktisch gelöst, die neueren sind härter.
- Zu welchen Kosten? Ein Top-Wert mit riesigem Rechenaufwand sagt wenig über das Tool, das du für ein paar Euro im Monat nutzt.
- Wer hat geprüft? Steht das Ergebnis auf der Bestenliste von arcprize.org oder nur in der Pressemitteilung des Anbieters?
Häufige Fragen
Was misst ARC-AGI?
Ob ein KI-System aus wenigen Beispielen eine unbekannte Regel erkennt und anwendet. Es geht um Lernfähigkeit und Verallgemeinerung, nicht um angesammeltes Wissen.
Hat eine KI ARC-AGI schon bestanden?
ARC-AGI-1 gilt inzwischen als praktisch gelöst, OpenAI o3-preview erreichte Ende 2024 erstmals Menschenniveau. Die neueren Versionen sind schwerer. Bestanden heißt aber nicht, dass eine KI allgemein intelligent ist.
Wie gut sind Menschen bei ARC-AGI?
Bei ARC-AGI-2 lag ein bezahltes Menschen-Panel im Schnitt bei 60 %. Jede Aufgabe wurde von mindestens zwei Menschen gelöst. Bei ARC-AGI-3 lösten Menschen alle Umgebungen.
Was ist der Unterschied zwischen ARC-AGI-1, -2 und -3?
Die ersten beiden sind statische Rätsel auf Rastern, die zweite Version ist deutlich schwerer. ARC-AGI-3 besteht aus interaktiven Spielen ohne Anleitung und bewertet die Effizienz der Aktionen.
Warum stehen bei ARC-AGI Kosten dabei?
Weil man mit genug Rechenleistung viele Aufgaben erzwingen kann. Erst die Kosten zeigen, wie effizient ein System lernt, und genau das will der Test messen.