Was ist Protokollanalyse?
Du hast fünf Testpersonen durch deinen Shop geschickt und sie dabei laut denken lassen. Jetzt liegen fünf Stunden Aufnahmen vor dir. Und nun? Genau hier beginnt die Protokollanalyse: die systematische Auswertung dessen, was die Leute gesagt haben.
Gemeint ist hier die Methode aus der Usability-Forschung, nicht die Auswertung von Server-Logs oder Netzwerkdaten. Das Standardwerk stammt von den Psychologen K. Anders Ericsson und Herbert A. Simon: „Protocol Analysis“, erstmals 1984 erschienen.
Ericsson und Simon unterscheiden drei Stufen, was Menschen beim lauten Denken äußern:
- Stufe 1: Sie sprechen aus, was sie gerade denken oder lesen.
- Stufe 2: Sie beschreiben in Worten, was sie tun oder sehen.
- Stufe 3: Sie erklären und begründen. Das verändert das Denken und gilt als weniger verlässlich.
So läuft eine Protokollanalyse ab
Die Nielsen Norman Group beschreibt die Auswertung qualitativer Daten in sechs Schritten:
- Sammeln und abschreiben: Aufnahmen transkribieren, Tools wie Maze oder Dovetail machen das automatisch.
- Alles lesen: einmal komplett durch, ohne schon zu sortieren.
- Kodieren: Stellen markieren und kurz benennen, etwa „findet Versandkosten nicht“.
- Themen bilden: ähnliche Codes zu Mustern zusammenfassen.
- Abstand nehmen: eine Nacht drüber schlafen.
- Prüfen: Halten die Themen, wenn du die Rohdaten noch mal ansiehst?
Für die Auswertung rät die Nielsen Norman Group, mindestens so viel Zeit einzuplanen wie für die Tests selbst. Wer fünf Stunden aufgenommen hat, braucht also mindestens fünf Stunden zum Auswerten.
Wie viele Testpersonen? Nach Jakob Nielsen findet ein einzelner Testnutzer im Schnitt 31 % der Probleme, fünf finden rund 85 %. Das ist ein Modellwert, keine feste Regel. Nielsens Rat: lieber drei Runden mit je fünf Personen als eine mit fünfzehn.
Was die Forschung zeigt
Studie A · Evaluator-Effekt
Vier Fachleute werten dieselben vier Videos aus
93
Probleme gefunden
20 %
davon von allen vier
Fast die Hälfte der Probleme fand nur eine einzige Person
Jacobsen, Hertzum und John, 1998. Bei den zehn schwersten Problemen stimmte kein einziges bei allen vier überein.
Studie B · Was Leute sagen
27 Videos aus zehn unmoderierten Remote-Tests
37 %
der Zeit laut gedacht
57 %
Beschreibungen (Stufe 2)
Nur 16 % waren reines Gedanken-Aussprechen, 27 % Erklärungen
MeasuringU, 2023, US-Daten. Die meisten beschreiben, was sie tun — nicht, was sie denken.
Häufige Fehler
Fehler 1 · Allein auswerten
Der Evaluator-Effekt zeigt: Eine Person übersieht viel und gewichtet Probleme anders als die nächste. Lass mindestens zwei Leute kodieren und gleicht eure Codes ab. Ein gemeinsames Kodierschema hilft.
Fehler 2 · Zu viel nachfragen
Jedes „Warum?“ treibt die Testperson in Stufe 3, also ins Erklären. Laut Hertzum und Kollegen (2009) navigieren Menschen dann mehr und brauchen länger. Stell Fragen lieber nach der Aufgabe.
Fehler 3 · Worte über Taten stellen
„Das war ganz einfach“, sagt die Testperson, nachdem sie drei Minuten den Warenkorb gesucht hat. Menschen wollen klug wirken, warnt die Nielsen Norman Group. Was jemand tut, zählt mehr als das, was er dazu sagt. Werte beides zusammen aus.
Fehler 4 · Zeiten als Benchmark nehmen
Lautes Denken kann Aufgaben verlängern. MeasuringU nennt rund 20 % mehr Zeit, andere Studien finden alles zwischen schneller und deutlich langsamer. Miss Aufgabenzeiten deshalb in eigenen Tests ohne lautes Denken.
Was du daraus machst
- Klein starten: fünf Personen, drei bis fünf Aufgaben, eine Tabelle mit Spalten für Stelle, Zitat, Code.
- Verhalten mitschreiben: Neben jedes Zitat, was die Person in dem Moment getan hat.
- Schwere bewerten: Ein Problem, das alle fünf aufhält, kommt vor einem, das einen kurz irritiert.
- Mit Daten abgleichen: Was die Protokolle zeigen, mit Heatmaps oder Session Recordings gegenprüfen.
Häufige Fragen
Was ist der Unterschied zwischen lautem Denken und Protokollanalyse?
Lautes Denken ist die Erhebung: Testpersonen sprechen während einer Aufgabe aus, was ihnen durch den Kopf geht. Die Protokollanalyse ist die Auswertung dieser Aufnahmen. Im Alltag werden beide oft in einen Topf geworfen.
Wie viele Testpersonen brauche ich?
Für qualitative Tests reichen meist fünf je Runde. Nach Jakob Nielsen finden sie im Schnitt rund 85 % der Probleme. Besser als eine große Runde sind mehrere kleine mit Verbesserungen dazwischen.
Gleichzeitig oder nachträglich laut denken?
Gleichzeitig ist näher am echten Denken und schneller. Nachträglich stört die Aufgabe nicht und passt zu Eyetracking, die Leute erinnern sich aber lückenhafter. Für die meisten Website-Tests reicht gleichzeitig.
Wie lange dauert die Auswertung?
Die Nielsen Norman Group rät, mindestens so viel Zeit einzuplanen wie für die Tests selbst. Mit automatischen Transkripten aus Tools wie Maze oder Dovetail geht es schneller, das Kodieren bleibt Handarbeit.
Verfälscht lautes Denken das Ergebnis?
Wenig, solange die Leute nur aussprechen oder beschreiben. Sobald sie erklären und begründen sollen, ändert sich ihr Verhalten. Aufgabenzeiten sind beim lauten Denken oft länger und taugen nicht als Benchmark.
