Startseite > Lexikon > KI im Marketing > Reinforcement Learning from Human Feedback

Bleistiftskizze: Roboter zeigt einem gesichtslosen Menschen ein Blatt, gestrichelte Pfeile verbinden beide, orange: Hand mit Daumen hoch als Bild für RLHF
KI im Marketing

Reinforcement Learning from Human Feedback

RLHF

Warum ist ChatGPT so freundlich und stimmt dir so gern zu? Ein großer Teil der Antwort heißt RLHF: Menschen bewerten Antworten, und das Modell lernt, mehr von dem zu liefern, was gut ankommt.

Auch bekannt alsBestärkendes Lernen aus menschlichem Feedback

6 Min

Lesezeit

21.11.2026

Letzte Aktualisierung

Was ist RLHF?

Ein frisch vortrainiertes Sprachmodell kann Text fortsetzen. Ein guter Assistent ist es damit noch lange nicht. Es weiß nicht, welche Antwort du hilfreich findest, welche zu lang ist und welche daneben.

Reinforcement Learning from Human Feedback, kurz RLHF, schließt diese Lücke. Übersetzt heißt das: bestärkendes Lernen aus menschlichem Feedback. Menschen sagen dem Modell, welche Antworten besser sind. Das Modell lernt, mehr davon zu liefern.

Die Idee stammt aus einem Paper von 2017. Damals lernten Agenten in Spielen und Robotik-Simulationen aus menschlichen Vergleichen, Feedback brauchte es für weniger als ein Prozent ihrer Aktionen. Den Durchbruch für Sprachmodelle brachte 2022 InstructGPT von OpenAI, der direkte Vorläufer von ChatGPT.

So funktioniert RLHF in drei Schritten

  • Schritt 1 · Vormachen: Menschen schreiben Musterantworten zu typischen Anfragen. Das Modell wird damit nachtrainiert (Supervised Fine-Tuning).
  • Schritt 2 · Bewerten: Das Modell erzeugt mehrere Antworten auf denselben Prompt. Menschen bringen sie in eine Rangfolge. Daraus wird ein Belohnungsmodell trainiert, das vorhersagt, welche Antwort Menschen besser finden.
  • Schritt 3 · Optimieren: Das Sprachmodell lernt per Reinforcement Learning, Antworten zu schreiben, die das Belohnungsmodell hoch bewertet.

Bei InstructGPT waren das rund 13.000 Prompts für Schritt 1, 33.000 für das Belohnungsmodell und 31.000 für die Optimierung. Bewertet haben etwa 40 beauftragte Menschen. Je Prompt sortierten sie vier bis neun Antworten.

Verfahren

Wer bewertet?

RLHF

Menschen

Constitutional AI

KI nach Regeln

DPO

Menschen, ohne Belohnungsmodell

Bei Constitutional AI von Anthropic bewertet eine KI anhand einer Liste schriftlicher Prinzipien. Direct Preference Optimization nutzt dieselben Antwortpaare wie RLHF, spart sich aber das separate Belohnungsmodell.

Beispiele aus der Praxis

Paper · OpenAI 2022

InstructGPT gegen GPT-3

100×

weniger Parameter

21 %

erfundene Inhalte (vorher 41 %)

Das kleine Modell mit RLHF wurde dem großen ohne vorgezogen

InstructGPT mit 1,3 Milliarden Parametern schlug in der Menschenbewertung GPT-3 mit 175 Milliarden. Die Halluzinationsquote gilt für geschlossene Aufgaben.

Vorfall · OpenAI 2025

Das zu nette GPT-4o

25.04.

Update ausgerollt

28.04.

Rücknahme begonnen

Zu viel Gewicht auf Daumen-Feedback machte das Modell schmeichlerisch

OpenAI hatte die Daumen-hoch-und-runter-Bewertungen der Nutzer als zusätzliches Belohnungssignal genommen. Das schwächte laut OpenAI das eigentliche Signal.

Der zweite Fall zeigt die Schattenseite. Menschen mögen Zustimmung. Ein Modell, das auf menschliche Vorlieben optimiert wird, lernt deshalb auch, dir nach dem Mund zu reden. Forscher von Anthropic fanden dieses Verhalten, auf Englisch Sycophancy, 2023 bei fünf führenden KI-Assistenten. In den Bewertungsdaten wurden Antworten, die der Meinung des Nutzers zustimmten, häufiger gewählt.

Häufige Fehler

Fehler 1 · Gefallen mit Wahrheit verwechseln

RLHF optimiert auf das, was Bewerter gut finden, nicht auf das, was stimmt. Eine überzeugend formulierte, gefällige Antwort kann im Training eine korrekte schlagen. Klingt die KI sicher, ist sie es deshalb noch lange nicht.

Fehler 2 · KI-Lob als Bestätigung nehmen

„Super Idee für deine Kampagne!“ Das sagt ein Chatbot oft, weil Zustimmung im Training belohnt wurde. Lass dir deine Ideen nicht absegnen. Frag gezielt nach Schwächen.

Fehler 3 · Glauben, dein Daumen trainiert live

Dein Daumen in ChatGPT kann laut OpenAI in spätere Trainingsläufe einfließen, als ein Signal unter mehreren. Im laufenden Gespräch lernt das Modell davon nichts.

Fehler 4 · „Menschliches Feedback“ für objektiv halten

Bei InstructGPT stimmten die Bewerter untereinander nur in rund 73 % der Fälle überein. Was als „besser“ gilt, prägt eine kleine Gruppe mit ihren Richtlinien.

Was heißt das für dein Marketing?

RLHF baust du nicht selbst. Das machen OpenAI, Anthropic, Google und Co. mit großen Teams. Du arbeitest aber jeden Tag mit den Folgen.

  • Gegenfragen stellen: „Was spricht gegen diesen Claim?“ bringt mehr als „Ist der gut?“.
  • Rolle vorgeben: Im System-Prompt um ehrliche, kritische Rückmeldung bitten, ohne Höflichkeitsfloskeln.
  • Fakten prüfen: Zahlen und Quellen aus KI-Texten immer gegenlesen, gerade wenn sie glatt klingen.
  • Ton nutzen: Die Hilfsbereitschaft aus RLHF ist ein Vorteil beim Entwerfen. Nur das Urteil gibst du nicht ab.

Häufige Fragen

Was bedeutet RLHF einfach erklärt?

Menschen vergleichen Antworten eines Sprachmodells und sagen, welche besser ist. Daraus lernt ein Bewertungsmodell, und das Sprachmodell wird so trainiert, dass es mehr gut bewertete Antworten schreibt.

Warum stimmt mir ChatGPT so oft zu?

Unter anderem wegen RLHF. Menschen bewerten zustimmende Antworten häufiger positiv, das Modell lernt dieses Muster mit. Anbieter arbeiten dagegen an: OpenAI prüft Gefälligkeit seit dem Vorfall 2025 vor jeder Freigabe.

Was ist der Unterschied zwischen RLHF und Fine-Tuning?

Klassisches Fine-Tuning lernt aus Musterantworten. RLHF geht weiter: Es lernt aus Bewertungen, welche von mehreren Antworten besser ist. Das Fine-Tuning ist meist der erste Schritt von RLHF.

Macht RLHF KI-Antworten wahrer?

Teilweise. InstructGPT erfand bei geschlossenen Aufgaben seltener Inhalte als GPT-3. Das Verfahren belohnt aber, was Menschen gefällt. Überzeugend klingende Fehler können dabei durchrutschen.

Nutzt ChatGPT mein Daumen-Feedback zum Training?

Es kann in spätere Trainingsläufe einfließen, als eines von mehreren Signalen. Das Modell lernt aber nicht live im Gespräch von deinem Daumen.

Begriff teilenHat dir die Definition geholfen? Schick sie weiter.