Was ist Overfitting?
Stell dir einen Schüler vor, der für die Matheprüfung nur die Lösungen der Übungsaufgaben auswendig lernt. Bei den Übungen hat er 100 %. In der Prüfung mit neuen Aufgaben fällt er durch. Genau das ist Overfitting.
Google erklärt es in seinem Kurs zum maschinellen Lernen so: Ein Modell passt so eng zu den Trainingsdaten, dass es sie auswendig lernt. Bei neuen Daten sagt es dann schlecht vorher. Auf Deutsch heißt das Überanpassung. Das Ziel ist das Gegenteil: Generalisierung, also gute Vorhersagen auf Daten, die das Modell noch nie gesehen hat.
Das Erkennungszeichen laut IBM: niedriger Fehler auf den Trainingsdaten, hoher Fehler auf den Testdaten. Das Modell hat das Rauschen mitgelernt, also die Zufälligkeiten, die nichts mit dem eigentlichen Muster zu tun haben.
Wie das in Zahlen aussieht
Die Doku der Python-Bibliothek scikit-learn hat dafür ein Lehrbuchbeispiel: 30 verrauschte Punkte auf einer Kurve, drei Modelle unterschiedlicher Komplexität. Gemessen wird der Fehler auf neuen Daten:
Modell
Fehler bei neuen Daten
Zu einfach (Grad 1)
0,41
Passend (Grad 4)
0,04
Zu komplex (Grad 15)
rund 183 Mio.
Das komplexe Modell trifft jeden Trainingspunkt — und liegt bei neuen Daten absurd daneben. Mehr Komplexität ist also nicht automatisch besser.
Overfitting in der Praxis
Case · Google Flu Trends
Grippewellen aus Suchanfragen vorhersagen
100 von 108
Wochen zu hoch (2011–2013)
über 2×
so hoch wie die US-Behörde (Feb. 2013)
Ein einfaches Modell mit Behördendaten war genauer
Lazer u. a., Science 2014. Die Entwickler suchten aus 50 Mio. Suchbegriffen die besten Treffer für nur 1.152 Datenpunkte.
Case · Sprachmodelle
Auswendiglernen bei GPT-J
mind. 1 %
der Trainingsdaten memoriert
33 → 65 %
extrahierbar mit mehr Kontext
Größere Modelle merken sich mehr wörtlich
Carlini u. a., ICLR 2023. Mit 50 statt 450 Token Vorlauf ließen sich 33 statt 65 % der geprüften Sequenzen herausholen.
Bei Google Flu Trends nennen die Autoren Overfitting ausdrücklich als eine Ursache, neben Änderungen am Suchalgorithmus. Viele Merkmale, wenige Fälle: Da findet ein Modell immer Muster, auch wenn keine da sind. Die Entwickler mussten etwa Suchanfragen zum Schulbasketball von Hand aussortieren, die zufällig im Winter zur Grippe passten.
Im Marketing begegnet dir das beim Marketing-Mix-Modelling. Googles Werkzeug Meridian warnt: Zu viele Variablen erhöhen das Risiko von Overfitting. Metas Robyn setzt deshalb auf Regularisierung, also eine eingebaute Bremse gegen zu große Effekte, und prüft das Modell an zurückgehaltenen Wochen.
Häufige Fehler
Fehler 1 · Die Rückschau für einen Beweis halten
„Unser Modell erklärt die letzten zwölf Monate perfekt“ heißt gar nichts. Die Frage ist, wie gut es Monate trifft, die es nicht kannte. Ohne Test auf neuen Daten ist jedes Modell ein Versprechen.
Fehler 2 · Am Test so lange schrauben, bis er passt
Wer immer wieder am Modell dreht und dabei auf die Testdaten schaut, schleust Wissen aus dem Test ins Modell. Dann misst der Test nichts mehr. scikit-learn warnt davor ausdrücklich. Gleiches gilt, wenn du zwanzig Kampagnenvarianten rückwirkend durchrechnest und nur die beste zeigst.
Fehler 3 · Glauben, viele Daten lösen alles
Google Flu Trends hatte riesige Datenmengen. Es kam auf das Verhältnis an: 50 Millionen Merkmale gegen gut tausend Fälle. Entscheidend ist, wie viele Möglichkeiten das Modell hat, sich Zufall zurechtzulegen.
Fehler 4 · Zeitreihen zufällig mischen
Bei Umsatz- oder Kampagnendaten zählt die Reihenfolge. Teile sie zeitlich: frühere Wochen zum Lernen, spätere zum Testen. Robyn macht das genau so.
Was gegen Overfitting hilft
- Daten aufteilen: Google zeigt als Beispiel 70 % zum Training, 15 % zur Validierung und 15 % zum abschließenden Test.
- Kreuzvalidierung: Die Daten werden in mehrere Teile zerlegt, jeder Teil dient einmal als Test.
- Regularisierung: eine Strafe für zu komplexe Modelle, etwa Ridge-Regression wie bei Robyn.
- Einfacher bauen: weniger Merkmale, die wirklich Sinn ergeben.
- Lernkurven ansehen: Sinkt der Trainingsfehler weiter, während der Validierungsfehler steigt, ist Schluss.
Häufige Fragen
Woran erkenne ich, dass ein Modell überangepasst ist?
Es ist auf den Trainingsdaten deutlich besser als auf neuen Daten. In den Lernkurven sinkt der Trainingsfehler weiter, während der Fehler auf den Validierungsdaten wieder steigt.
Was ist der Unterschied zwischen Overfitting und Underfitting?
Beim Overfitting ist das Modell zu komplex und lernt das Rauschen mit. Beim Underfitting ist es zu einfach und erkennt nicht einmal das Muster in den Trainingsdaten. Beide sagen neue Daten schlecht vorher.
Betrifft Overfitting auch ChatGPT und andere Sprachmodelle?
Ja, in Form von Auswendiglernen. Studien zeigen, dass große Sprachmodelle Teile ihrer Trainingsdaten wörtlich wiedergeben können, größere Modelle mehr als kleinere. Das ist etwas anderes als Halluzination, bei der ein Modell Inhalte erfindet.
Kann mein Marketing-Mix-Modell overfitten?
Ja, vor allem mit vielen Kanälen und wenigen Wochen Daten. Werkzeuge wie Meta Robyn und Google Meridian arbeiten mit Regularisierung und zurückgehaltenen Testzeiträumen. Ein Marketing-Mix-Modell soll aber auch Zusammenhänge erklären, nicht nur vorhersagen.
Wie viele Daten brauche ich für Test und Validierung?
Eine feste Regel gibt es nicht. Google zeigt als Beispiel 70 % Training, 15 % Validierung und 15 % Test. Bei Zeitreihen teilst du nach Zeit, nicht zufällig.
Quellen