Was ist der F1-Score?
Viele KI-Werkzeuge im Marketing sind Klassifikatoren: Sie sortieren in Ja und Nein. Spam oder kein Spam. Kaufbereiter Lead oder nicht. Kunde kündigt bald oder bleibt. Der F1-Score sagt dir, wie gut so ein Modell das Ja erkennt.
Dafür kombiniert er zwei Fragen:
- Precision: Wenn das Modell „Ja“ sagt — wie oft stimmt das?
- Recall: Von allen echten „Ja“-Fällen — wie viele findet das Modell?
Beide Werte ziehen oft in entgegengesetzte Richtungen. Ein Spamfilter, der alles blockiert, findet jeden Spam, aber auch deine Kundenmails. Einer, der nur ganz sichere Fälle blockiert, irrt sich selten, lässt aber viel durch. Der F1-Score bringt beides in eine Zahl. Google, AWS und Microsoft beschreiben ihn in ihren Plattformen gleich: als harmonisches Mittel aus Precision und Recall.
Wie wird er berechnet?
Zuerst zählst du drei Fälle: Treffer (richtig erkannt), Fehlalarme (fälschlich als Ja markiert) und Übersehene (echte Ja-Fälle, die das Modell verpasst hat).
F1-Score
F1 = 2 × Precision × Recall ÷ (Precision + Recall)
Kurzform: F1 = 2 × Treffer ÷ (2 × Treffer + Fehlalarme + Übersehene)
- Precision = Treffer ÷ (Treffer + Fehlalarme)
- Recall = Treffer ÷ (Treffer + Übersehene)
Warum das harmonische und nicht das normale Mittel? Weil der schwächere Wert stärker zählt. Ein Modell mit Precision 1,0 und Recall 0,1 käme im Durchschnitt auf 0,55. Der F1-Score liegt bei nur rund 0,18. Glänzen mit nur einer guten Zahl geht nicht.
Beispiele aus der Praxis
Zwei eigene Beispielrechnungen zeigen, warum die reine Trefferquote, die Accuracy, täuscht.
Case A · Lead-Scoring
1.000 Leads, 50 kaufen
80
als „heiß“ markiert
40
davon kaufen
F1 = 80 ÷ (80 + 40 + 10) = 0,62
Precision 0,50, Recall 0,80. Die Accuracy liegt bei 95 % — genau so hoch wie bei einem Modell, das nie „heiß“ sagt und F1 = 0 hätte.
Case B · Spamfilter
10.000 Mails, 200 Spam
190
als Spam markiert
180
davon echter Spam
F1 = 360 ÷ (360 + 10 + 20) = 0,92
Accuracy 99,7 %. Ein Filter, der nie etwas markiert, käme auf 98 % — und wäre nutzlos.
Das ist der Kern: Google nennt im Machine Learning Crash Course genau diesen Fall. Kommt eine Klasse nur in 1 % der Fälle vor, erreicht ein Modell, das immer „Nein“ sagt, 99 % Accuracy. Für solche unausgeglichenen Daten ist der F1-Score laut Google die bessere Wahl.
Häufige Fehler
Fehler 1 · Accuracy feiern
„Unser Churn-Modell liegt bei 96 %!“ Wenn nur 4 % kündigen, schafft das auch ein Modell, das niemanden markiert. Frag bei seltenen Ereignissen immer nach Precision, Recall und F1.
Fehler 2 · F1 als Bestnote für alles nehmen
F1 gewichtet beide Fehlerarten gleich. In der Praxis sind sie selten gleich teuer. Ein übersehener Kündiger kostet mehr als eine überflüssige Rabatt-Mail. Google rät: Sind übersehene Fälle teurer, achte auf Recall. Müssen die Treffer sicher stimmen, auf Precision.
Fehler 3 · Den Schwellenwert vergessen
Ein Modell gibt meist eine Wahrscheinlichkeit aus. Ab welchem Wert es „Ja“ sagt, legst du fest. Derselbe Lead-Score kann bei 0,5 und bei 0,7 ganz verschiedene F1-Werte liefern. In Google Vertex AI etwa verschiebst du dafür den Confidence Threshold.
Fehler 4 · Micro-F1 bei mehreren Klassen
Bei mehr als zwei Klassen entspricht der Micro-F1 laut scikit-learn der Accuracy. Eine kleine, schwache Klasse — etwa „negativ“ in einer Sentiment-Analyse — fällt dann nicht auf. Schau auf Macro-F1 oder den Wert je Klasse.
Wo du den F1-Score findest
- Google Vertex AI: zeigt F1 in der Auswertung jedes Klassifikationsmodells, abhängig vom Schwellenwert.
- AWS SageMaker Autopilot: nutzt F1 und F1macro als Zielkennzahl.
- Azure Machine Learning: weist F1 als Macro, Micro, gewichtet und binär aus.
- scikit-learn: die Python-Funktion f1_score und der classification_report.
Häufige Fragen
Was ist ein guter F1-Score?
Eine feste Grenze gibt es nicht. Es kommt darauf an, wie selten das Gesuchte ist und was Fehler kosten. Vergleich den Wert immer mit einer einfachen Grundlinie, etwa einem Modell, das alle Fälle gleich behandelt. Faustregeln wie „ab 0,7 gut“ haben keine belastbare Quelle.
Warum ist F1 besser als Accuracy?
Nicht immer besser, aber bei unausgeglichenen Daten ehrlicher. Die Accuracy zählt auch alle richtig erkannten Nein-Fälle mit. Sind das 99 % der Daten, sieht selbst ein nutzloses Modell gut aus. F1 lässt diese Nein-Fälle weg und schaut nur darauf, wie gut das Ja erkannt wird.
Was ist der Unterschied zwischen Precision und Recall?
Precision fragt: Wenn das Modell Ja sagt, stimmt es dann? Recall fragt: Findet das Modell alle echten Ja-Fälle? Ein vorsichtiges Modell hat hohe Precision und niedrigen Recall, ein großzügiges umgekehrt.
Wann nehme ich F2 statt F1?
Wenn übersehene Fälle besonders teuer sind, zum Beispiel Kunden kurz vor der Kündigung oder Betrugsfälle. F2 gewichtet den Recall stärker. Müssen die Treffer dagegen sicher stimmen, etwa bei teuren Vertriebsanrufen, passt F0,5.
Wie berechne ich den F1-Score in Excel?
Mit drei Zellen für Treffer, Fehlalarme und Übersehene. Die Formel lautet dann =2*A1/(2*A1+B1+C1). Für Precision und Recall teilst du die Treffer durch Treffer plus Fehlalarme beziehungsweise durch Treffer plus Übersehene.
