Wie ein Sprachmodell (LLM) wirklich funktioniert

Die kurze Antwort zuerst

Ein Sprachmodell wie ChatGPT, Claude oder Gemini durchsucht bei deiner Anfrage keine Datenbank und schlaegt auch nichts in einem Lexikon nach. Es macht etwas viel Simpleres – und gleichzeitig viel Beeindruckenderes: Es sagt, Stueck fuer Stueck, das jeweils wahrscheinlichste naechste Textfragment voraus. Immer wieder, bis eine ganze Antwort entsteht.

Das klingt banal. Ist es auch, im Kern. Aber aus dieser einen simplen Idee, angewendet mit gigantischen Datenmengen und Milliarden von Parametern, entsteht etwas, das sich verblueffend nach Verstehen anfuehlt. Genau das wollen wir in diesem Artikel entwirren: Was passiert wirklich, Schritt fuer Schritt, zwischen deiner Eingabe und der Antwort auf dem Bildschirm.

Der Grundbaustein: Tokens statt Woerter

Ein Sprachmodell liest keinen Fliesstext so, wie du ihn liest. Bevor irgendetwas passiert, wird dein Text in kleine Einheiten zerlegt – sogenannte Tokens. Ein Token ist meist kuerzer als ein Wort, manchmal ist es aber auch ein ganzes kurzes Wort oder nur ein einzelnes Zeichen.

Ein Beispiel: Das Wort “Wärmepumpe” wird von vielen Tokenizern in zwei Teile zerlegt, etwa “Wärme” und “pumpe”. Haeufige, kurze Woerter wie “der”, “und” oder “ist” sind dagegen oft ein einziges Token. Fachbegriffe, seltene Namen oder Zahlen werden dagegen in mehrere kleine Haeppchen zerstueckelt, weil sie im Trainingsmaterial seltener vorkamen.

Dieser Zerlegungsprozess heisst Tokenisierung und laeuft nach festen Regeln ab (die gaengigsten Verfahren heissen Byte-Pair-Encoding oder SentencePiece). Jedes Token bekommt dabei eine Zahl zugewiesen – am Ende sieht das Modell also gar keinen Text mehr, sondern nur noch eine lange Zahlenreihe.

// Stark vereinfachtes Beispiel, wie ein Satz in Tokens zerlegt werden koennte
{
  "text": "Die Wärmepumpe läuft leise.",
  "tokens": ["Die", " Wärme", "pumpe", " läuft", " leise", "."],
  "token_ids": [791, 22482, 20505, 19064, 25105, 13]
}

Warum nicht einfach ganze Woerter verwenden? Weil das bei Tippfehlern, zusammengesetzten Woertern (im Deutschen besonders relevant), Fachjargon oder anderen Sprachen sofort scheitern wuerde. Mit Wortstuecken kann ein Modell auch Woerter verarbeiten, die es im Training nie exakt so gesehen hat – es setzt sie einfach aus bekannten Bausteinen zusammen.

Das Herzstück: Vorhersage des naechsten Tokens

Jetzt kommt der zentrale Trick. Ein LLM ist im Kern eine riesige Funktion mit einer einzigen Aufgabe: Gegeben eine Sequenz von Tokens, berechne die Wahrscheinlichkeit fuer jedes moegliche naechste Token aus dem gesamten Wortschatz (typischerweise 50’000 bis über 100’000 moegliche Tokens).

Nehmen wir den angefangenen Satz “Die Hauptstadt der Schweiz ist”. Das Modell berechnet daraufhin fuer jedes einzelne Token in seinem Vokabular eine Wahrscheinlichkeit, wie gut es als naechstes passt:

Das Modell waehlt dann (meist mit etwas kontrollierter Zufaelligkeit, gesteuert ueber Parameter wie die Temperatur) eines der wahrscheinlichsten Tokens aus, haengt es an den Text an – und wiederholt den gesamten Vorgang von vorne. Mit dem neuen, laengeren Text als Grundlage wird wieder das naechste Token vorhergesagt. Und wieder. Und wieder. Eine komplette Antwort ist nichts anderes als tausende solcher Einzelschritte hintereinander.

Damit dieser Mechanismus ueberhaupt funktioniert, muss das Modell “verstehen”, welche Tokens im bisherigen Text wie stark zueinander in Beziehung stehen – auch ueber grosse Distanzen im Text hinweg. Das leistet die sogenannte Transformer-Architektur (das “T” in GPT steht dafuer) mit ihrem Attention-Mechanismus: Er erlaubt dem Modell, bei jedem Vorhersageschritt gezielt zu gewichten, welche vorherigen Tokens fuer die aktuelle Vorhersage wichtig sind. Die technischen Details dazu sprengen den Rahmen dieses Grundlagenartikels – wichtig ist hier nur: Diese Gewichtung ist erlernt, nicht programmiert.

Parameter: Was in den Milliarden Zahlen steckt

Wenn von einem Modell mit “70 Milliarden Parametern” oder “einer Billion Parametern” die Rede ist, sind genau diese gelernten Gewichte gemeint. Ein Parameter ist eine einzelne Zahl im neuronalen Netz, die waehrend des Trainings so lange angepasst wird, bis das Modell moeglichst gute Vorhersagen trifft.

Stell dir das Modell als ein gigantisches Netz aus Drehreglern vor. Am Anfang stehen alle Regler auf Zufallswerten, das Modell produziert nur Kauderwelsch. Waehrend des Trainings wird bei jedem Beispiel gemessen, wie falsch die Vorhersage war, und alle Regler werden ein winziges Stueck in die richtige Richtung gedreht – millionenfach, ueber Wochen hinweg, auf spezialisierter Hardware (GPU- oder TPU-Cluster). Mehr Parameter bedeuten mehr Kapazitaet, feine Muster in Sprache, Fakten und Zusammenhaengen zu speichern – aber auch mehr Rechenleistung fuer Training und Betrieb.

Wichtig: Diese Parameter enthalten keine expliziten Fakten in einer durchsuchbaren Form, sondern komprimiertes, statistisches Wissen ueber Sprachmuster. Genau das fuehrt zum naechsten, oft missverstandenen Punkt.

Warum ein LLM kein Nachschlagewerk ist

Ein haeufiges Missverstaendnis: Man stellt sich ein LLM wie eine durchsuchbare Bibliothek oder eine riesige Datenbank vor, in der irgendwo der “richtige” Satz gespeichert liegt und bei passender Anfrage einfach herausgezogen wird. Das ist falsch, und der Unterschied ist entscheidend fuers Verstaendnis.

Ein LLM hat waehrend des Trainings Milliarden von Texten “gesehen”, aber es speichert diese Texte nicht wortwoertlich ab (von seltenen Ausnahmen bei extrem oft wiederholten Passagen abgesehen). Stattdessen destilliert es daraus statistische Muster: welche Woerter und Konzepte typischerweise zusammen auftreten, welche Satzstrukturen ueblich sind, wie Argumente aufgebaut werden. Wenn du eine Frage stellst, wird keine gespeicherte Antwort abgerufen, sondern in Echtzeit eine neue Antwort generiert, die zu den gelernten Mustern passt.

Das erklaert auch, weshalb ein Modell “weiss”, wie man ein Gedicht ueber ein Thema schreibt, das es nie zuvor in dieser Kombination gesehen hat – es kombiniert gelernte Muster neu, statt etwas Bestehendes zu kopieren.

Wie ein Modell ueberhaupt so weit kommt: Das Training in drei Phasen

Bis ein LLM brauchbare, hilfreiche Antworten liefert, durchlaeuft es typischerweise drei aufeinanderfolgende Trainingsphasen:

Pretraining ist bei weitem die teuerste Phase – hier lernt das Modell ueberhaupt erst, was Sprache ist, wie die Welt grob funktioniert und wie Code aussieht. Ein reines Basismodell nach dem Pretraining ist aber noch kein guter Assistent: Es setzt einfach Text fort, ohne zu “wissen”, dass es eine Frage beantworten statt nur weiterschreiben soll. Fragst du ein Basismodell “Was ist die Hauptstadt der Schweiz?”, vervollstaendigt es das eventuell einfach mit weiteren aehnlichen Fragen, statt zu antworten.

Supervised Finetuning (SFT) bringt dem Modell anhand von Beispielpaaren bei, Anweisungen als Anweisungen zu erkennen und im Dialogformat zu antworten.

RLHF (Reinforcement Learning from Human Feedback) – oder verwandte, heute oft eingesetzte Verfahren wie DPO (Direct Preference Optimization) – verfeinert das Verhalten weiter: Menschliche Bewerter vergleichen mehrere Antwortvarianten des Modells und sagen, welche besser gefaellt. Aus diesem Feedback lernt das Modell, hilfreichere, sicherere und angenehmere Antworten zu bevorzugen.

Eine Analogie zum Festhalten

Falls dir das noch zu abstrakt ist, hilft vielleicht dieses Bild: Stell dir jemanden vor, der noch nie eine Sprache gelernt hat, aber Millionen von Buechern in dieser Sprache gelesen hat – ohne die Bedeutung der Woerter zu kennen, nur die Muster, welche Zeichenfolgen typischerweise aufeinander folgen. Nach genuegend Lektuere kann diese Person erstaunlich kohaerente, oft korrekte Texte produzieren, einfach weil sie die statistischen Regelmaessigkeiten der Sprache verinnerlicht hat – nicht weil sie Fakten in einer Kartei nachschlaegt.

Das ist, stark vereinfacht, was ein LLM tut. Kein Bewusstsein, kein Verstehen im menschlichen Sinn, sondern eine unglaublich gut trainierte Mustererkennungs- und -fortsetzungsmaschine.

Was das fuer dich im Alltag bedeutet

Dieses Grundverstaendnis hilft dir sehr konkret:

• Lange, praezise Prompts wirken besser, weil das Modell bei jeder Vorhersage nur den bisherigen Text (den Kontext) zur Verfuegung hat – je mehr relevante Information dort steht, desto gezielter kann vorhergesagt werden.
• Bei Fakten und Zahlen immer gegenpruefen, da nichts davon “nachgeschlagen”, sondern statistisch generiert wird (siehe Faktencheck bei KI-Output).
• Wissen hat einen Stichtag: Ein Modell kennt nur, was bis zu seinem Trainings-Stichtag verarbeitet wurde, ausser es hat Zugriff auf eine Websuche oder externe Dokumente (Stand: 2026-07).
• Kleine Unterschiede in der Formulierung koennen die Antwort veraendern, weil sich damit auch die Token-Wahrscheinlichkeiten verschieben.

Wenn du tiefer verstehen willst, wie Tokens konkret dein Kontextfenster begrenzen oder wie du mit Prompts gezielter arbeitest, findest du das in den Vertiefungsartikeln weiter unten.

Weiterlernen

• Introduction to Large Language Models – Google for Developers
• Grundlegendes zu Tokens – Microsoft Learn
• Wie funktionieren LLMs? – Fraunhofer IESE Blog
• Was ist RLHF? – Palo Alto Networks Cyberpedia
• OpenAI Tokenizer (Tokens live ausprobieren)

Verwandte Artikel im Wiki: Was ist KI eigentlich? · Tokens und Kontextfenster im Detail · Warum KI manchmal halluziniert · Embeddings und Vektoren erklaert

Videos

YouTube