Tokens und Kontextfenster verstehen

Warum du das ueberhaupt wissen musst

Wenn du mit ChatGPT, Claude oder Copilot arbeitest, stoesst du frueher oder spaeter auf zwei Begriffe, die alles andere bestimmen: Tokens und Kontextfenster. Sie erklaeren, warum eine KI mitten in einem langen Gespraech ploetzlich “vergisst”, was ihr vor einer Stunde gesagt wurde. Sie erklaeren, warum ein PDF mit 300 Seiten manchmal einfach nicht komplett verarbeitet wird. Und sie erklaeren, warum deine API-Rechnung am Monatsende so aussieht, wie sie aussieht.

Kurz gesagt: Tokens sind die Waehrung, in der ein Sprachmodell denkt, bezahlt und sich erinnert. Wer das versteht, kann Prompts effizienter bauen, Kosten realistisch einschaetzen und merkwuerdiges KI-Verhalten bei langen Dokumenten erklaeren statt sich nur zu aergern.

Was ein Token eigentlich ist

Ein Token ist die kleinste Texteinheit, mit der ein Sprachmodell rechnet. Das ist nicht dasselbe wie ein Wort oder ein Buchstabe. Moderne LLMs nutzen ein Verfahren namens Byte-Pair Encoding (oder verwandte Varianten wie SentencePiece), das Text in haeufig wiederkehrende Teilstuecke zerlegt: ganze Wörter, Wortstuecke, einzelne Zeichen oder auch Satzzeichen und Leerzeichen.

Als Faustregel gilt fuer englischen Text: 1 Token entspricht ungefaehr 4 Zeichen bzw. ungefaehr 0.75 Woertern. Bei Deutsch ist das Verhaeltnis etwas ungünstiger, weil zusammengesetzte Woerter (“Donaudampfschifffahrtsgesellschaft”) und Umlaute den Tokenizer haeufiger zum Aufteilen zwingen. Ein deutscher Text braucht deshalb oft 10-20 % mehr Tokens als die englische Uebersetzung desselben Inhalts.

Eingabetext:  "Kontextfenster sind wichtig."
Tokens (etwa): ["Kontext", "fenster", " sind", " wichtig", "."]
→ 5 Tokens fuer 4 Woerter

Warum ueberhaupt Tokens statt ganzer Woerter? Zwei Gruende:

1. Vokabular-Groesse: Ein Modell muesste sonst jedes moegliche Wort in jeder Sprache kennen – unmoeglich. Mit Teilwoertern kann es auch unbekannte Woerter, Tippfehler, Fachbegriffe oder Programmcode aus bekannten Bausteinen zusammensetzen.
2. Effizienz: Buchstabe-fuer-Buchstabe waere zu granular und wuerde die Rechenlast massiv erhoehen. Tokens sind ein Kompromiss zwischen Vokabulargroesse und Sequenzlaenge.

Kontextfenster: das Arbeitsgedaechtnis der KI

Das Kontextfenster (englisch “context window” oder “context length”) ist die maximale Anzahl Tokens, die ein Modell in einer einzigen Anfrage gleichzeitig “sehen” kann – Systemprompt, Chatverlauf, hochgeladene Dokumente, Werkzeug-Ergebnisse und die eigene Antwort zusammengerechnet. Alles, was ausserhalb dieses Fensters liegt, existiert fuer das Modell schlicht nicht.

Wichtig: Ein Kontextfenster ist kein Langzeitgedaechtnis. Zwischen zwei komplett getrennten Chats “weiss” das Modell nichts von vorherigen Unterhaltungen, ausser eine Anwendung fuettert diese Information explizit erneut ins Fenster (das machen z.B. ChatGPT-”Memory”-Funktionen oder RAG-Systeme, siehe RAG fuers Firmenwissen).

Aktuelle Groessenordnungen (Stand: 2026-07)

Ein Kontextfenster von 1 Million Tokens klingt gewaltig – und ist es auch: Das entspricht ungefaehr 750’000 Woertern oder ganzen mehrbaendigen Buchreihen. Trotzdem stoesst man in der Praxis schneller an Grenzen als gedacht, sobald mehrere lange PDFs, ein voller Chatverlauf und Tool-Ausgaben gleichzeitig im Spiel sind.

Was passiert, wenn das Fenster voll ist?

Das ist der Teil, der in der Praxis am meisten Verwirrung stiftet. Sobald ein Gespraech oder ein Dokument die Kontextgrenze ueberschreitet, gibt es grundsaetzlich drei Verhaltensweisen, je nach Anwendung:

• Harter Abbruch: Die API lehnt die Anfrage mit einem Fehler ab (z.B. “context length exceeded”). Das passiert typischerweise bei direkter API-Nutzung ohne Zusatzlogik.
• Stilles Abschneiden (Truncation): Chat-Oberflaechen wie ChatGPT oder Copilot entfernen automatisch die aeltesten Nachrichten aus dem sichtbaren Kontext, um Platz fuer neue zu schaffen – meist ohne dich explizit zu warnen. Das Modell “vergisst” dann Dinge, die frueh im Gespraech gesagt wurden.
• Zusammenfassen (Summarization): Manche Anwendungen fassen aeltere Gespraechsteile automatisch zusammen und ersetzen sie durch eine Kurzversion, um den wichtigen Kontext platzsparend zu erhalten. Das kostet Genauigkeit, spart aber Platz.

Praktische Konsequenz: Ein grosses Kontextfenster loest nicht automatisch das Problem “die KI versteht mein 300-Seiten-Dokument perfekt”. Es macht es nur moeglich, den Text ueberhaupt hineinzuschieben – die Qualitaet der Antwort haengt zusaetzlich davon ab, wo relevante Information im Text steht und wie gezielt du fragst.

Kosten pro Token: wie die Rechnung entsteht

API-Anbieter berechnen praktisch immer getrennte Preise fuer Input-Tokens (was du reinschickst) und Output-Tokens (was das Modell zurueckliefert) – meist als Preis pro 1 Million Tokens. Output ist fast immer deutlich teurer als Input, weil die Generierung rechenintensiver ist als das reine Lesen.

Ein Rechenbeispiel

Angenommen, du schickst ein 50-seitiges PDF (~25’000 Tokens) zusammen mit einer kurzen Frage (~50 Tokens) an ein Modell, das 3 USD pro 1 Mio. Input-Tokens verlangt, und bekommst eine 500-Token-Antwort bei 15 USD pro 1 Mio. Output-Tokens zurueck:

Input:  25'050 Tokens × 3 USD / 1'000'000  = 0.075 USD
Output:    500 Tokens × 15 USD / 1'000'000 = 0.0075 USD
Summe pro Anfrage: ≈ 0.083 USD

Das wirkt nach wenig – aber bei 200 solcher Anfragen taeglich in einem Team sind das schnell 500+ USD im Monat. Deshalb lohnt sich die Kostenrechnung, sobald KI produktiv im Unternehmenseinsatz ist (siehe auch KI-Kosten und Lizenzen im KMU).

Auswirkungen bei langen Dokumenten

Wenn du grosse Dokumente, Codebasen oder lange Gespraechsverlaeufe verarbeiten willst, wirken sich Tokens und Kontextfenster konkret so aus:

Fuer wirklich grosse Wissensbestaende (Handbuecher, komplette Datenbanken, Firmenwikis) ist die Loesung meist nicht “noch groesseres Kontextfenster”, sondern ein Retrieval-Ansatz: Nur die tatsaechlich relevanten Textausschnitte werden pro Anfrage in den Kontext geladen, statt alles auf einmal reinzuschieben. Wie das funktioniert, steht in Embeddings und Vektoren erklaert und RAG fuers Firmenwissen.

Entscheidungshilfe: reicht das Kontextfenster?

Wie viele Tokens hat mein Material insgesamt?
│
├─ Unter ~50'000 Tokens (≈ 35-40 Normseiten)
│   → Passt bequem in fast jedes moderne Kontextfenster.
│     Direkt als Volltext reinschicken.
│
├─ 50'000 - 300'000 Tokens
│   → Passt in "grosse" Kontextfenster (1M-Modelle),
│     aber teste die Antwortqualitaet in der Textmitte.
│     Wichtigstes zuerst/zuletzt platzieren.
│
└─ Ueber 300'000 Tokens oder staendig wachsend (z.B. Firmenwiki)
    → Volltext-Ansatz wird teuer und unzuverlaessig.
      Baue stattdessen eine RAG-Loesung mit Vektorsuche auf.

Kurz zusammengefasst

• Tokens sind Textbausteine (nicht Woerter), in denen ein LLM rechnet, denkt und abgerechnet wird.
• Kontextfenster bestimmen, wie viel Text ein Modell gleichzeitig “im Kopf” halten kann – aktuell reichen Groessenordnungen von einigen Tausend bis zu mehreren Millionen Tokens, je nach Modell (Stand: 2026-07).
• Ist das Fenster voll, wird abgeschnitten, abgelehnt oder zusammengefasst – meist ohne deutliche Warnung.
• Input- und Output-Tokens werden getrennt und unterschiedlich teuer abgerechnet; lange Kontexte kosten oft ueberproportional mehr.
• Bei wirklich grossen Wissensbestaenden ist Retrieval (RAG) meist die bessere Antwort als ein noch groesseres Kontextfenster.

Weiterlernen

• Anthropic: Context windows – offizielle Doku zu Claudes Kontextfenstern und Caching
• OpenAI: Managing context – offizielle Doku zu Prompting und Kontextverwaltung
• Google: Long context – Gemini-Dokumentation zu langen Kontextfenstern
• tiktoken (OpenAI, GitHub) – Open-Source-Tool zum Zaehlen von Tokens
• IBM: Was ist ein Kontextfenster? – verstaendliche Einfuehrung ins Thema

Verwandte Themen: Wie ein LLM funktioniert · Tokens und Kosten optimieren · RAG fuers Firmenwissen · Embeddings und Vektoren erklaert

Videos

YouTube