Was ist die Word Error Rate?
Du lädst dein Webinar in ein Transkriptions-Tool und bekommst den Text in Minuten. Aber wie viel davon stimmt? Genau das misst die Word Error Rate, kurz WER, auf Deutsch Wortfehlerrate.
Microsoft nennt die WER den Branchenstandard, um die Genauigkeit von Spracherkennung zu messen. Man vergleicht die maschinelle Abschrift mit einer fehlerfreien, meist von Menschen erstellten Abschrift. Dann zählt man die Fehler.
Dir begegnet die Zahl überall, wo KI Sprache in Text verwandelt: Untertitel für Reels und YouTube, Podcast-Transkripte als Rohstoff für Blogartikel, Meeting-Notizen, Auswertungen von Kundengesprächen.
So wird die WER berechnet
Es gibt drei Arten von Fehlern. Ersetzungen: Ein Wort wurde falsch erkannt. Auslassungen: Ein Wort fehlt. Einfügungen: Ein Wort kam dazu, das nie gesagt wurde.
Standard-Formel
WER = (Ersetzungen + Auslassungen + Einfügungen) ÷ Wörter der Referenz × 100
Beispiel: 2 Ersetzungen, 1 Auslassung, 2 Einfügungen bei 173 Wörtern → WER = 5 ÷ 173 × 100 = 2,89 %
Das Rechenbeispiel stammt aus der Microsoft-Doku. Vor dem Zählen werden beide Texte meist angeglichen. Google etwa entfernt Satzzeichen und ignoriert Groß- und Kleinschreibung.
Welche WER ist gut?
Microsoft gibt diese Faustregel:
WER
Bewertung
5–10 %
gut, einsatzbereit
um 20 %
akzeptabel
ab 30 %
schlecht
Was realistisch ist, hängt stark vom Material ab. Diktat und Sprachassistenten schaffen laut Microsoft unter 10 %. Callcenter mit Telefonqualität und Fachvokabular liegen eher unter 30 %.
Fall A · Labor gegen Alltag
Whisper von OpenAI
2,7 %
bei vorgelesenen Hörbüchern
12,8 %
im Schnitt auf anderen Daten
Dasselbe Modell, fast fünfmal so viele Fehler.
Studie von OpenAI, Dezember 2022, englische Aufnahmen. Ein älteres Spezialmodell kam auf den gleichen gemischten Daten auf 29,3 %.
Fall B · Wörter gegen Sätze
Gleiche Abschrift, zwei Sichten
2,89 %
Wortfehlerrate
66,7 %
Sätze mit Fehler
Wenige Fehler können fast jeden Satz treffen.
Beispieldaten aus der Microsoft-Doku, keine echte Messung. Für Untertitel und Zitate zählt jeder Satz.
Häufige Fehler
Fehler 1 · Anbieterzahlen direkt vergleichen
Die WER hängt davon ab, was getestet wurde und wie die Texte angeglichen wurden. OpenAI schreibt selbst, dass schon harmlose Formatunterschiede die WER aufblähen. Zahlen aus verschiedenen Tests sind deshalb nicht vergleichbar.
Fehler 2 · Den Benchmark für deine Realität halten
Ein Wert auf sauber vorgelesenem Englisch sagt wenig über ein Zoom-Gespräch mit Hall, Dialekt und Fachbegriffen. Akzente verschieben die WER deutlich: Eine Studie von 2020 fand bei fünf großen Anbietern für Schwarze Sprecher im Schnitt 35 % WER, für weiße 19 %.
Fehler 3 · „95 % Genauigkeit“ wörtlich nehmen
Werbeversprechen wie „99 % genau“ sind meist das Gegenstück einer WER auf einem günstigen Testset. Und selbst eine niedrige WER heißt nicht, dass die meisten Sätze stimmen.
Fehler 4 · Alle Fehler gleich gewichten
Die WER sagt nicht, welcher Fehler passiert ist. Ein falsch geschriebener Produktname zählt genauso viel wie ein verschlucktes „äh“. Für dich ist der Produktname aber viel teurer.
So testest du ein Tool selbst
- Typische Aufnahme wählen: echte Webinare oder Calls, mit deinen Fachbegriffen. Microsoft empfiehlt 30 Minuten bis 5 Stunden.
- Referenz erstellen: Ein Stück von Hand fehlerfrei abschreiben.
- Mehrere Tools durchlaufen lassen: dieselbe Aufnahme für alle.
- WER berechnen: Kostenlos geht das mit der Python-Bibliothek jiwer oder Hugging Face evaluate.
- Fehlerarten ansehen: Viele Auslassungen deuten laut Microsoft auf schwaches Audio, viele Ersetzungen auf fehlende Fachbegriffe.
Häufige Fragen
Was ist eine gute Word Error Rate?
Laut Microsoft gelten 5 bis 10 % als gut und einsatzbereit, um 20 % als akzeptabel, ab 30 % als schlecht. Für Untertitel, die ohne Korrektur online gehen, willst du klar unter 10 % liegen.
Wie berechnet man die WER?
Ersetzungen plus Auslassungen plus Einfügungen, geteilt durch die Wortzahl der fehlerfreien Abschrift. Bei 5 Fehlern auf 173 Wörter ergibt das 2,89 %.
Kann die WER über 100 % liegen?
Ja. Wenn eine Spracherkennung sehr viele Wörter hinzudichtet, steigt die Fehlerzahl über die Länge der Referenz. Google weist darauf in seiner Doku ausdrücklich hin.
Warum ist die WER bei mir höher als versprochen?
Weil Anbieter meist auf sauberen Testaufnahmen messen. Hall, Störgeräusche, Dialekt, Durcheinanderreden und Fachbegriffe treiben die Fehler hoch. Teste immer mit eigenem Material.
Was ist der Unterschied zwischen WER und CER?
Die Character Error Rate rechnet mit derselben Formel, aber auf Ebene einzelner Zeichen statt Wörter. Sie eignet sich laut Hugging Face besonders für Sprachen ohne klare Wortgrenzen und für Texterkennung aus Bildern.
