Was ist Byte-Pair-Encoding?
Eine KI liest keine Wörter. Sie sieht Zahlenfolgen. Irgendwer muss deinen Text also vorher in Stücke zerlegen. Bei OpenAI macht das ein Verfahren namens Byte-Pair-Encoding, kurz BPE.
Die Idee ist alt. Philip Gage beschrieb sie 1994 als Methode zur Datenkompression. 2015 übertrugen Forscher um Rico Sennrich sie auf maschinelle Übersetzung. Heute steckt sie im Tokenizer tiktoken von OpenAI.
So funktioniert BPE
Das Verfahren lernt aus einer großen Textmenge. Es zählt, welche Paare besonders oft nebeneinanderstehen, und schmilzt das häufigste zu einem neuen Baustein zusammen. Das wiederholt es, bis das Vokabular groß genug ist.
Hugging Face erklärt das an fünf englischen Wörtern, nämlich hug, pug, pun, bun und hugs:
- Schritt 1: „u“ und „g“ stehen am häufigsten zusammen, 20-mal. Daraus wird der Baustein „ug“.
- Schritt 2: Dann folgt „un“ mit 16 Vorkommen.
- Schritt 3: Danach entsteht „hug“ aus „h“ und „ug“.
- Neues Wort: „bug“ kam nie vor, wird aber zu „b“ und „ug“.
Das Ergebnis: Häufiges wird zu einem Baustein, Seltenes zerfällt in Stücke. Mit Grammatik hat das nichts zu tun. Es zählt nur die Häufigkeit. OpenAIs tiktoken nennt im Schnitt rund 4 Bytes je Token, und das Verfahren ist verlustfrei umkehrbar.
Warum Deutsch mehr Tokens kostet
Die Trainingstexte sind stark englisch geprägt, und Englisch wird dadurch billig. Petrov und Kollegen haben das 2023 auf der NeurIPS gemessen. Basis waren 2.000 von Menschen übersetzte Wikipedia-Sätze:
Sprache
Tokens gegenüber Englisch
Deutsch
1,58-fach
Französisch
1,60-fach
Italienisch
1,64-fach
Bulgarisch
2,64-fach
Arabisch
3,04-fach
Das galt für den Tokenizer cl100k_base von ChatGPT und GPT-4 im Jahr 2023. Die Autoren übersetzen es direkt in Geld: Ein deutscher Text kostete dort rund 50 % mehr als derselbe englische Text. Neuere OpenAI-Modelle nutzen o200k_base. Eine große Studie dazu gibt es nicht.
Dazu kommen die Komposita, also zusammengesetzte Wörter. Sennrich und Kollegen fanden unter 100 seltenen deutschen Wörtern 56 Komposita. Selten heißt bei BPE: wird zerstückelt. Ein Wort wie „Abwasserbehandlungsanlage“ braucht deshalb mehrere Tokens. Wie viele, hängt vom Modell ab, also zähl lieber nach.
Häufige Fehler
Fehler 1 · Tokens mit Wörtern gleichsetzen
Ein Token ist weder Wort noch Silbe. Die Grenzen folgen der Häufigkeit. Ein Wort kann ein Token sein oder zehn Stücke.
Fehler 2 · Englische Faustregeln aufs Deutsche übertragen
Wer sein Budget nach englischen Tabellen plant, liegt daneben. Miss deine eigenen Texte, gerade bei langen Fachwörtern.
Fehler 3 · Zahlen von Modell zu Modell übernehmen
Jedes Modell zählt anders. Anthropic schreibt, dass derselbe Text auf Claude 4.7 und neuer rund 30 % mehr Tokens ergibt als auf älteren Modellen. Ein neuer Modellname kann also deine Kalkulation verschieben.
Fehler 4 · Umlaute ersetzen, um zu sparen
Der Tipp „ae statt ä“ kursiert, einen Beleg gibt es nicht. Ob ein Umlaut mehr kostet, hängt von den gelernten Bausteinen ab. Lass es. Dein Text wird schlechter, die Ersparnis ist unbewiesen.
Was heißt das für dein Budget?
BPE selbst stellst du nicht ein. Aber du kannst damit rechnen:
- Puffer einplanen: Rechne deutsche Texte nicht mit englischen Beispielwerten.
- Selbst zählen: tiktoken für OpenAI, die Token-Zählung von Anthropic für Claude. Die Anthropic-Zählung ist kostenlos.
- Lange Prompts prüfen: Wiederholte Fachwörter in Vorlagen summieren sich.
- Nach Modellwechsel neu messen: Alte Werte gelten dann nicht mehr.
Häufige Fragen
Was ist Byte-Pair-Encoding einfach erklärt?
Ein Verfahren, das Text in Bausteine zerlegt. Es sucht das häufigste Paar benachbarter Zeichen, verschmilzt es und wiederholt das. So werden häufige Wörter zu einem Baustein, seltene zerfallen in mehrere.
Warum verbraucht Deutsch mehr Tokens als Englisch?
Weil das Vokabular aus Häufigkeiten gelernt wird und deutsche Wörter seltener und länger sind. In einer Studie von 2023 kam Deutsch beim GPT-4-Tokenizer auf das 1,58-Fache. Für neuere Tokenizer fehlt eine große Messung.
Kosten Umlaute extra Tokens?
Das ist nicht belegt. In UTF-8 belegen Umlaute zwei Bytes, aber häufige Wörter können sie längst in einem einzigen Baustein enthalten. Eine belastbare Messung dazu gibt es nicht.
Nutzen ChatGPT und Claude BPE?
Für OpenAI ist das belegt, tiktoken arbeitet mit BPE. Für Claude nennt die Doku, die wir gelesen haben, kein Verfahren. Sicher ist nur, dass Tokens zwischen Anbietern nicht vergleichbar sind.
Wie zähle ich Tokens für meinen Text?
Für OpenAI mit tiktoken, für Claude über die kostenlose Token-Zählung der API. Zähl immer mit dem Modell, das du wirklich nutzt. Werte aus anderen Modellen sind nur grobe Anhaltspunkte.
