Was ist ein FLOP?
FLOP steht für Floating Point Operation, auf Deutsch Gleitkommaoperation. Gemeint ist eine einzige Rechnung mit Kommazahlen, etwa eine Multiplikation oder eine Addition. Ein Computer schafft davon Billionen pro Sekunde.
Bei KI interessiert nicht die einzelne Rechnung, sondern die Summe. Wie viele FLOP hat das Training eines Modells insgesamt gebraucht? Das ist eine Menge, keine Geschwindigkeit. Sie sagt grob, wie viel Rechenkraft und damit Geld in einem Modell steckt.
Wie schätzt man den Rechenaufwand?
Kaum ein Anbieter veröffentlicht die genaue Zahl. Man schätzt sie, meist mit einer Faustformel aus der Forschung zu Skalierungsgesetzen.
Faustformel
Trainings-FLOP ≈ 6 × Parameter × Trainings-Tokens
Beispiel: 1 Milliarde Parameter × 100 Milliarden Tokens × 6 → rund 6 × 10^20 FLOP
Die 6 kommt so zustande: Der Vorwärtsdurchlauf kostet etwa 2 Rechenschritte je Parameter und Token, das Zurückrechnen beim Lernen etwa das Doppelte. Die Formel stammt aus einem Paper von OpenAI-Forschern von 2020.
Der zweite Weg geht über die Hardware: Anzahl Chips mal Leistung pro Chip mal Trainingszeit mal Auslastung. Epoch AI, ein Forschungsinstitut, das Trainingsdaten von KI-Modellen sammelt, rechnet bei großen Sprachmodellen mit rund 30 % Auslastung. Die Spitzenwerte aus Datenblättern erreicht kein echtes Training.
Was 10^25 FLOP bedeuten
10^25 ist eine 1 mit 25 Nullen. Diese Zahl steht im EU AI Act. Ein KI-Modell mit allgemeinem Verwendungszweck, dessen Training mehr als 10^25 FLOP gebraucht hat, gilt als Modell mit systemischem Risiko. Dann kommen strengere Pflichten, etwa Angriffstests und Meldungen schwerer Vorfälle.
Schwelle
Bedeutung
10^23 FLOP
Indiz für GPAI-Modell
10^25 FLOP
systemisches Risiko
Die untere Schwelle stammt aus den Leitlinien der EU-Kommission vom Juli 2025. Sie entspricht laut Kommission etwa dem Training eines Modells mit rund einer Milliarde Parametern auf großen Datenmengen. Die Kommission nennt sie ausdrücklich kein absolutes Kriterium.
Beispiele aus der Praxis
Schätzung · Epoch AI
GPT-4 (März 2023)
2,1 × 10^25
Trainings-FLOP (geschätzt)
1.
Modell über 10^25
Rund doppelt so viel wie die EU-Schwelle
OpenAI hat keine Zahl veröffentlicht. Epoch AI leitet sie aus Hardware und Trainingsdauer ab und nennt die Präzision niedrig.
Trend · Epoch AI
Wachstum des Trainingsaufwands
4–5×
pro Jahr, bekannte Modelle
5×
pro Jahr, Top-Sprachmodelle
Die Rechenmenge verzehnfacht sich gut alle anderthalb Jahre
Auswertung von 2010 bis Mai 2024. Bei Top-Sprachmodellen gilt der Wert seit Mitte 2020.
Häufige Fehler
Fehler 1 · FLOP und FLOPS vermischen
Das Gesetz meint die Gesamtmenge im Training, nicht die Geschwindigkeit eines Rechners. Wer „10^25 FLOPS“ schreibt, sagt etwas anderes.
Fehler 2 · Datenblätter wörtlich nehmen
Nvidia nennt für die H100 bis zu 1.979 Billionen FLOP pro Sekunde bei BF16, laut Fußnote mit Sparsity, einem Rechentrick. Im echten Training kommt nur ein Teil davon an.
Fehler 3 · Mehr FLOP mit besser gleichsetzen
Rechenaufwand sagt etwas über Kosten und Größe, nicht über die Eignung für deine Aufgabe. Ein kleines Modell kann für Texte im Shop völlig reichen.
Fehler 4 · Glauben, die Schwelle betrifft dich
Die FLOP-Pflichten richten sich an Anbieter, die Modelle trainieren und auf den Markt bringen. Wer ChatGPT oder Claude im Marketing nutzt, rechnet keine FLOP.
Wozu du die Zahl brauchst
- Nachrichten einordnen: Wenn von einem „Frontier-Modell“ die Rede ist, steckt meist ein Rechenaufwand über 10^25 FLOP dahinter.
- Anbieter vergleichen: Ob ein Modell unter die strengeren EU-Pflichten fällt, hängt an dieser Zahl.
- Nachschlagen: Epoch AI führt eine öffentliche Datenbank mit Schätzungen für tausende Modelle.
Häufige Fragen
Was ist der Unterschied zwischen FLOP und FLOPS?
FLOP ist eine Menge an Rechenoperationen, FLOPS heißt Rechenoperationen pro Sekunde und misst die Leistung eines Chips. Für KI-Training zählt man die Menge.
Was bedeuten 10^25 FLOP im EU AI Act?
Ab diesem Trainingsaufwand gilt ein KI-Modell mit allgemeinem Verwendungszweck als Modell mit systemischem Risiko. Sein Anbieter muss es dann etwa gezielt testen und schwere Vorfälle melden.
Wie viele FLOP hat GPT-4 gebraucht?
OpenAI hat keine Zahl genannt. Epoch AI schätzt rund 2,1 × 10^25 FLOP, mit niedriger Präzision.
Wie rechnet man den Trainingsaufwand aus?
Mit der Faustformel 6 × Parameter × Trainings-Tokens. Oder über die Hardware: Chips mal Leistung mal Zeit mal Auslastung.
Betrifft mich die FLOP-Schwelle, wenn ich ChatGPT nutze?
Nein. Sie richtet sich an Anbieter, die Modelle trainieren und auf den Markt bringen. Als Nutzer bist du davon nicht direkt betroffen.