Tokenisierung ist der erste Schritt fast jeder Textverarbeitung: Ein zusammenhängender Text wird in kleine Einheiten, die Tokens, zerlegt. Ein Token kann ein ganzes Wort, ein Teilwort oder ein einzelnes Zeichen sein. Maschinelle Lernmodelle und Suchsysteme arbeiten nicht mit Rohtext, sondern mit diesen Tokens.
Tokenisierungs-Arten
- Wort-Tokenisierung: Zerlegung an Leerzeichen und Satzzeichen (z.B. „Hallo Welt!" → „Hallo", „Welt", „!"). Einfach, aber Wortformen wie „geht" und „ging" bleiben getrennte Tokens.
- Subword-Tokenisierung: Häufige Wörter werden zu einem Token, seltene in Teilwörter zerlegt (z.B. „Tokenisierung" → „Token", „isierung"). Moderne Verfahren: Byte-Pair-Encoding (BPE), WordPiece, SentencePiece.
- Zeichen-Tokenisierung: Jedes Zeichen ist ein Token. Flexibel, aber lange Sequenzen.
Warum Subword-Tokenisierung?
Sprachmodelle wie GPT oder LLaMA nutzen BPE: Das Vokabular startet mit allen Zeichen des Trainingskorpus und fügt iterativ die häufigsten Zeichenpaare zusammen. So bleibt das Vokabular kompakt (typisch 32.000 bis 150.000 Tokens), und unbekannte Wörter lassen sich trotzdem als Teilwort-Kette darstellen. Der Tokenizer ist die konkrete Implementierung dieser Zerlegung.
Bedeutung für Sprachmodelle
Das Kontextfenster eines Large Language Models wird in Tokens gemessen, nicht in Wörtern. Ein Token entspricht im Englischen grob 3/4 Wörtern, bei deutschen Komposita oft nur einem Teilwort. Die Anzahl der Tokens bestimmt direkt die Kosten und die Verarbeitungslänge.
Verwandte Grundlagen: Bag of Words, TF-IDF, Token, Embedding.