Was ist Reliabilität?
Stell dich dreimal hintereinander auf die Waage. Zeigt sie dreimal dasselbe, ist sie zuverlässig. Zeigt sie 78, 81 und 74 Kilo, kannst du sie wegwerfen. Reliabilität ist das Fachwort für diese Zuverlässigkeit. Gemeint ist, wie genau und wie wiederholbar ein Verfahren misst.
Dahinter steckt ein einfacher Gedanke. Jeder gemessene Wert besteht aus zwei Teilen: dem wahren Wert und einem Messfehler. Die Reliabilität sagt, wie groß der wahre Anteil ist. Bei 0 besteht jeder Unterschied nur aus Messfehler, bei 1 gibt es keinen.
Für dein Marketing ist das keine graue Theorie. Kundenbefragung, Net Promoter Score, Webanalyse, A/B-Test: Alles sind Messungen. Wackelt die Messung, wackelt die Entscheidung, die du darauf baust.
Welche Arten von Reliabilität gibt es?
Den wahren Wert kennt niemand. Deshalb lässt sich Reliabilität nur schätzen. Vier Wege haben sich durchgesetzt:
Art
So wird geprüft
Retest
dieselben Leute, dieselbe Frage, später noch einmal
Paralleltest
zwei gleichwertige Fassungen im Vergleich
Innere Konsistenz
passen alle Fragen einer Skala zusammen?
Interrater
kommen mehrere Beurteiler zum selben Urteil?
Eine Unterart der inneren Konsistenz ist die Split-Half-Methode: Du teilst den Fragebogen in zwei Hälften und vergleichst die Ergebnisse. Am bekanntesten ist hier Cronbachs Alpha, das rechnerisch dem Mittel aller denkbaren Halbierungen entspricht. Es braucht aber mehrere Fragen. Für eine einzelne Frage wie beim NPS bleibt dir nur der Retest.
Reliabilität, Validität, Objektivität
Die drei Gütekriterien bauen aufeinander auf:
- Objektivität: Das Ergebnis hängt nicht davon ab, wer misst und auswertet.
- Reliabilität: Das Ergebnis ist genau und lässt sich wiederholen.
- Validität: Es wird wirklich das gemessen, was gemessen werden soll.
Ohne Reliabilität keine Validität. Umgekehrt gilt das nicht. Du kannst die Verweildauer perfekt zuverlässig messen und trotzdem danebenliegen, wenn du damit „Interesse“ meinst.
Beispiele aus der Praxis
Case A · Kundenbefragung
Weiterempfehlungsfrage nach 30 Tagen wiederholt
259
Befragte antworteten zweimal
0,75
Korrelation der Antworten
Die Einzelnen schwanken, der Mittelwert änderte sich nur um 1,2 %.
Studie von MeasuringU, USA 2018. Bei einzelnen Marken mit 6 bis 25 Antworten sprang der Wert dagegen teils um über 20 %.
Case B · Website-Daten
Google Analytics gegen Similarweb, 86 Websites
0,95
Rangkorrelation bei Besuchen
0,46
Rangkorrelation bei der Absprungrate
Bei Besuchen sind sich die Systeme einig, bei der Absprungrate nicht.
Studie in PLOS ONE, 2022. Nicht jede Kennzahl im selben Bericht ist gleich belastbar.
Auch dein eigenes Analysewerkzeug schätzt. GA4 rechnet aktive Nutzer und Sitzungen mit einem Näherungsverfahren hoch. Laut Google liegt die Abweichung meist unter 1 %. Wegen einer Nutzerzahl, die um ein halbes Prozent wackelt, musst du also keine Krisensitzung einberufen.
Häufige Fehler
Fehler 1 · Zuverlässig für richtig halten
Ein falsch eingebautes Conversion-Tag zählt jeden Kauf doppelt, und zwar jeden Tag gleich zuverlässig. Die Kurve sieht ruhig aus. Falsch ist sie trotzdem.
Fehler 2 · Aus zu wenigen Antworten lesen
Zehn Antworten im Quartal, NPS von 30 auf 10 gefallen, Alarm im Team. Bei so kleinen Gruppen kippt der Wert schon, wenn zwei Leute schlechte Laune haben. Nimm mehr Antworten oder einen längeren Zeitraum.
Fehler 3 · Bots und Dubletten mitzählen
Microsoft fand in einer internen Prüfung einen einzigen Nutzer mit über einer Million doppelter Klicks. Das reichte, um 200 Testläufe zu verzerren. In einer älteren Studie zu A/B-Tests lösten Bots auf dem MSN-Portal scheinbar echte Unterschiede aus.
Fehler 4 · Jede Messung an 0,7 festnageln
Der Wert 0,7 gilt oft als Untergrenze. Er ist ein Richtwert, kein Gesetz. Für eine grobe Stimmungslage reicht er. Hängt viel an der Entscheidung, sollte die Messung genauer sein.
So prüfst du deine Messung
- A/A-Test: Zeig beiden Gruppen dieselbe Seite. Bei 95 % Konfidenz sollten rund 5 % solcher Tests trotzdem einen „Gewinner“ melden. Sind es deutlich mehr, stimmt etwas am Aufbau nicht.
- Frage wiederholen: Stell einer kleinen Gruppe dieselbe Frage nach ein paar Wochen erneut. Der Abstand zählt: Je kürzer, desto ähnlicher fallen die Antworten aus.
- Zwei Leute urteilen lassen: Wenn du Leads oder Texte bewertest, lass eine Stichprobe doppelt bewerten. Bei Usability-Prüfungen fanden zwei Gutachter im Median nur 27 % der Probleme gemeinsam.
- Definition einfrieren: Fragetext, Skala, Zeitpunkt und Filter bleiben gleich. Jede Änderung ist eine neue Messung.
Häufige Fragen
Was ist der Unterschied zwischen Reliabilität und Validität?
Reliabilität fragt, ob du bei einer Wiederholung dasselbe Ergebnis bekommst. Validität fragt, ob du das Richtige misst. Eine Messung kann zuverlässig sein und trotzdem am Thema vorbeigehen. Umgekehrt geht es nicht.
Welcher Reliabilitätswert ist gut?
Als grober Richtwert gilt 0,7 und mehr. Werte nahe 1 sind nicht automatisch besser: Bei Fragebögen deuten sie auch darauf hin, dass mehrere Fragen fast dasselbe fragen.
Ist der NPS reliabel?
Auf Ebene einzelner Personen ordentlich: In einer Studie lag die Korrelation zwischen zwei Befragungen bei 0,75. Der Durchschnitt über viele Antworten ist stabiler als die einzelne Antwort. Mit einer Handvoll Antworten solltest du ihn nicht auswerten.
Warum zeigen zwei Analysewerkzeuge verschiedene Zahlen?
Weil sie anders zählen: andere Definition von Sitzung, andere Filter, andere Zeitzone, andere Einwilligungen. Das ist selten ein Defekt. Entscheide dich für ein System je Kennzahl und vergleiche innerhalb dieses Systems.
Quellen
- Dorsch Lexikon der Psychologie: Reliabilität
- Dorsch Lexikon der Psychologie: Validität
- MeasuringU: How Reliable Is the Net Promoter Score?
- PLOS ONE: Google Analytics und Similarweb im Vergleich
- Google Analytics-Hilfe: Datenstichproben und Schätzungen
- Microsoft: Seven Pitfalls to Avoid when Running Controlled Experiments
- Microsoft Research: p-Values for Your p-Values