Nebenprojekt · Python · angewandte KI

Tokenizer-Playground

Wie ein KI-Modell deinen Text in Stücke schneidet, bevor es ein einziges Wort liest.

Was ist ein Tokenizer?

Sprachmodelle wie ChatGPT lesen keine Buchstaben oder Wörter. Sie lesen Tokens: Textstücke, jedes mit einer Nummer. Der Tokenizer entscheidet, wo geschnitten wird. Byte Pair Encoding (BPE), das Verfahren hinter GPT, beginnt mit einzelnen Bytes und fasst immer das Paar zusammen, das im Trainingstext am häufigsten vorkommt, bis das Vokabular voll ist. Häufige Wörter werden so zu einem Token, seltene werden in Stücke zerlegt.

Warum ich ihn gebaut habe

Ich wollte sehen, was passiert, bevor ein KI-Modell überhaupt etwas liest, und dabei richtig Python lernen. Darum habe ich einen BPE-Tokenizer von Grund auf gebaut, ohne Tokenizer-Bibliothek, in kleinen, getesteten Schritten, mit Claude Code als Programmierpartner. Das Original ist eine Python-App; diese Seite führt dieselbe Logik in deinem Browser aus, damit du sie hier ausprobieren kannst. Er ist zum Veranschaulichen gedacht, nicht als Konkurrenz zu echten Tokenizern.

Ausprobieren

Tippe etwas, bewege den Regler und achte auf die Farben. Jede Farbe ist ein Token.

Dein Text

Vokabulargrösse400

256 = nur einzelne Bytes, noch keine Merges

Lernen aus

Beispielkorpus Deinem Text

Eine kurze Geschichte über ein Dorf, fürs Training geschrieben.

Vorsplitting wie GPT-2Zerlegt den Text zuerst in Wörter, Zahlen und Satzzeichen, damit Tokens nie über Wortgrenzen gehen.

Bytes: –
Tokens: –
Gelernte Merges: –
Bytes pro Token: –

Tokens

Fahr über ein Token, um seine Nummer zu sehen; dasselbe Token leuchtet überall auf. Gestrichelte Kästchen wie \xc3 enthalten nur einen Teil eines Zeichens («ä» sind in UTF-8 zwei Bytes).

Token-Nummern

Was er gelernt hat

Alle Merges in der Reihenfolge, in der sie gelernt wurden.

Token	Teil 1	Teil 2	Ergebnis

Gebaut in Python; dies ist eine getreue JavaScript-Portierung, die genau dieselben Merges lernt.