Was ist Reinforcement Learning?
Wie bringst du einem Hund bei, Pfötchen zu geben? Du erklärst es ihm nicht. Du wartest, bis er es zufällig richtig macht, und gibst ein Leckerli. Nach ein paar Runden hat er es raus. Genau so lernt eine Maschine beim Reinforcement Learning, auf Deutsch bestärkendes Lernen.
Die Bausteine:
- Agent: das Programm, das lernt.
- Umgebung: die Welt, in der es handelt — ein Spiel, eine Website, ein Gespräch.
- Aktion: was der Agent tut.
- Belohnung: eine Zahl als Rückmeldung, ob die Aktion gut war.
Der Agent will auf Dauer möglichst viel Belohnung sammeln. Dabei steckt er in einem ständigen Zwiespalt: Probiert er Neues aus, oder bleibt er bei dem, was sich bewährt hat? Fachleute nennen das Exploration und Exploitation.
Die Grundlagen haben Andrew Barto und Richard Sutton gelegt. Dafür bekamen sie den Turing Award 2024, den wichtigsten Preis der Informatik, dotiert mit 1 Mio. US-Dollar.
Wie unterscheidet es sich von anderem maschinellem Lernen?
Lernart
Lernt aus
Überwachtes Lernen
Beispielen mit richtiger Antwort
Unüberwachtes Lernen
Daten ohne Antwort, sucht Muster
Reinforcement Learning
Belohnung nach eigenen Versuchen
Deep Learning ist übrigens keine vierte Lernart, sondern eine Technik mit neuronalen Netzen. Kombiniert man sie mit Reinforcement Learning, spricht man von Deep Reinforcement Learning. So funktioniert zum Beispiel AlphaGo.
Beispiele, die Geschichte geschrieben haben
Case · AlphaGo
DeepMind gegen Go-Weltklasse, 2016
4:1
gegen Lee Sedol
200 Mio.+
Zuschauer weltweit
Gelernt durch Spiele gegen sich selbst
DeepMind nennt das Selbstspiel ausdrücklich Reinforcement Learning. Der Nachfolger AlphaZero wurde in 24 Stunden übermenschlich in Schach, Shogi und Go.
Case · InstructGPT
Der Vorläufer von ChatGPT, 2022
1,3 Mrd.
Parameter, mit RL trainiert
175 Mrd.
Parameter bei GPT-3
Menschen bevorzugten das rund 100-mal kleinere Modell
Ouyang u. a., OpenAI. Rund 40 Bewerter sortierten Antworten, daraus lernte das Modell, was hilfreich ist.
Das Verfahren hinter InstructGPT heißt RLHF, Reinforcement Learning from Human Feedback. Menschen bewerten Antworten, daraus entsteht ein Belohnungsmodell, und darauf wird das Sprachmodell trainiert. Bei geschlossenen Aufgaben wie Zusammenfassungen sank die Rate erfundener Inhalte dadurch von 41 auf 21 %. Weniger, aber nicht null.
Anthropic hat für Claude eine Variante entwickelt: Statt Menschen bewertet eine KI die Antworten anhand einer Liste von Prinzipien. Und DeepSeek zeigte 2025, dass Reinforcement Learning allein ein Modell rechnen lehren kann: Beim Mathetest AIME 2024 stieg die Trefferquote von 15,6 auf 71,0 %.
Wo dir Reinforcement Learning im Marketing begegnet
- Bandit-Tests: Der Multi-Armed Bandit ist die einfachste Form von Reinforcement Learning. Statt den Traffic starr 50:50 zu teilen wie beim A/B-Test, schiebt er ihn nach und nach zur besseren Variante. Laut Optimizely bevorzugt ein Bandit oft schon nach Tagen einen Gewinner, ein klassischer Test braucht im Schnitt zwei bis vier Wochen.
- KI-Assistenten: Jeder Chatbot, der per RLHF trainiert wurde, ist ein Produkt von Reinforcement Learning — auch der, mit dem du Texte schreibst.
- Personalisierung: Empfehlungen, Vorschaubilder und Reihenfolgen, die sich nach Reaktionen der Nutzer richten.
Häufige Fehler
Fehler 1 · Die falsche Belohnung setzen
Das berühmteste Beispiel: OpenAI ließ 2016 einen Agenten das Bootsrennspiel CoastRunners spielen, belohnt wurden Punkte. Der Agent fand eine Bucht mit Bonuszielen, fuhr dort endlos im Kreis und kam nie ins Ziel — mit mehr Punkten als menschliche Spieler. Das heißt Reward Hacking. Übertragen auf dich: Belohnst du Klicks, bekommst du Klicks. Nicht Umsatz.
Fehler 2 · Bandit und A/B-Test verwechseln
Ein Bandit holt während des Tests mehr heraus, liefert aber laut Optimizely keine statistische Signifikanz. Willst du wissen, warum eine Variante besser ist, brauchst du den A/B-Test. Willst du während einer kurzen Aktion möglichst viel verkaufen, den Bandit.
Fehler 3 · Glauben, RLHF macht KI wahrheitsliebend
Die Autoren von InstructGPT schreiben selbst: Das Modell wird an die Vorlieben einer bestimmten Gruppe angepasst, nicht an allgemeine menschliche Werte. Hilfreicher heißt nicht fehlerfrei.
Was du konkret tust
Eigenes Reinforcement Learning brauchst du als KMU nicht. Du nutzt es über Werkzeuge: Bandit-Tests in Optimizely, VWO oder AB Tasty und KI-Assistenten im Alltag. Google Optimize gibt es seit September 2023 nicht mehr.
Häufige Fragen
Wo begegnet mir Reinforcement Learning im Marketing?
Vor allem in Bandit-Tests, die Traffic automatisch zur besseren Variante lenken, in Personalisierung und in KI-Assistenten, die per RLHF trainiert wurden. Bei Gebotsstrategien von Google und Meta ist es offiziell nicht bestätigt.
Was ist der Unterschied zwischen A/B-Test und Multi-Armed-Bandit?
Der A/B-Test teilt den Traffic fest auf und liefert am Ende ein statistisch belastbares Ergebnis. Der Bandit verschiebt den Traffic schon während des Tests zur besseren Variante. Das bringt mehr Conversions, aber weniger Erkenntnis.
Was bedeutet RLHF?
Reinforcement Learning from Human Feedback. Menschen bewerten Antworten eines Sprachmodells, daraus lernt ein Belohnungsmodell, und das Sprachmodell wird darauf trainiert. So wurde ChatGPT hilfreicher und höflicher.
Was ist Reward Hacking?
Der Agent findet einen Weg, viel Belohnung zu bekommen, ohne das eigentliche Ziel zu erreichen. Bekanntes Beispiel ist ein Bootsrennen-Agent, der im Kreis fuhr, statt ins Ziel zu kommen, weil er für Punkte belohnt wurde.
Wer hat Reinforcement Learning erfunden?
Als Begründer gelten Andrew Barto und Richard Sutton. Sie legten ab den 1980er-Jahren die Grundlagen und schrieben das Standardlehrbuch. 2025 erhielten sie dafür den Turing Award 2024.
Quellen
- UMass: Barto erhält den ACM Turing Award 2024
- Ouyang u. a. (2022): Training language models to follow instructions (InstructGPT)
- Google DeepMind: AlphaGo
- Silver u. a. (2017): AlphaZero
- DeepSeek-AI (2025): DeepSeek-R1
- Bai u. a. (2022): Constitutional AI
- Optimizely: Multi-Armed Bandit
- Google Ads-Hilfe: Smart Bidding