Multimodale KI: Text, Bild, Audio und Video

Was heisst “multimodal” überhaupt?

Als ChatGPT Ende 2022 bekannt wurde, konnte es genau eines: Text lesen und Text schreiben. Keine Bilder, keine Sprache, keine Videos. Das hat sich seither gründlich geändert. Aktuelle KI-Modelle sind multimodal – sie können mehrere Arten von Information gleichzeitig verarbeiten, nicht nur eine.

Der Begriff “Modalität” meint schlicht eine Art von Daten oder Sinneskanal:

• Text – geschriebene Sprache
• Bild – Fotos, Screenshots, Grafiken, Handschrift
• Audio – gesprochene Sprache, Musik, Geräusche
• Video – bewegte Bilder mit Ton

Eine multimodale KI kann diese Kanäle nicht nur einzeln verarbeiten, sondern sie miteinander verknüpfen. Du kannst ihr ein Foto deines Kühlschranks zeigen und fragen “was koche ich daraus?”, ihr eine Sprachnotiz schicken und eine Zusammenfassung zurückbekommen, oder ein Diagramm hochladen und es dir erklären lassen. Das Modell versteht dabei nicht “ein Bild” und “einen Text” getrennt – es verarbeitet beides im selben internen Denkprozess.

Die vier Modalitäten im Überblick

Die grossen Chat-Assistenten (ChatGPT, Claude, Gemini) sind heute (Stand: 2026-07) alle multimodal in der Eingabe: Du kannst ihnen Bilder, oft auch PDFs, Audiodateien oder ganze Videos zum Verständnis geben. Bei der Ausgabe unterscheiden sie sich stärker – manche generieren direkt Bilder oder Sprache im selben Chat, andere reichen die Aufgabe intern an ein spezialisiertes Modell weiter.

Vision: wie eine KI ein Bild “versteht”

Wenn du einem Modell ein Foto zeigst, passiert im Kern Ähnliches wie bei Text: Das Bild wird in kleine Bausteine zerlegt (Bildausschnitte statt Wörter), diese werden in Zahlenreihen umgewandelt und durch dasselbe Transformer-Prinzip verarbeitet, das auch Text verarbeitet – mehr dazu in Wie ein LLM wirklich funktioniert. Das Modell “sieht” also kein Bild wie ein Mensch mit Augen, sondern rechnet mit statistischen Mustern, die es aus Millionen Trainingsbildern gelernt hat.

Praktisch heisst das: Du kannst ein Bild hochladen und danach fragen:

Was zeigt dieses Diagramm? Fasse die wichtigsten drei Erkenntnisse zusammen.

Auf diesem Foto ist eine Fehlermeldung auf einem Bildschirm zu sehen.
Übertrage den Text und erkläre, was er bedeutet.

Ist auf diesem Foto ein Wasserschaden erkennbar? Wenn ja, wo genau?

Typische Vision-Anwendungen im Alltag:

• Screenshots erklären lassen – Fehlermeldungen, Excel-Tabellen, Diagramme
• Text aus Bildern extrahieren (OCR) – Rechnungen, Visitenkarten, Handschrift
• Objekte erkennen und beschreiben – für Barrierefreiheit, Inventarisierung, Qualitätskontrolle
• Diagramme und Screenshots von Code analysieren – etwa Architekturskizzen beim Debugging

Text-zu-Bild: aus Worten werden Bilder

Umgekehrt funktioniert Text-zu-Bild: Du beschreibst in Worten, was du sehen willst, und ein Bildmodell erzeugt ein passendes Bild. Bekannte Werkzeuge dafür sind DALL·E (in ChatGPT integriert), Midjourney, Stable Diffusion und Googles Imagen (in Gemini integriert) (Stand: 2026-07).

Diese Modelle sind technisch anders aufgebaut als Sprachmodelle – meist basieren sie auf sogenannten Diffusionsmodellen: Das Modell startet bei zufälligem Bildrauschen und “entrauscht” es schrittweise, bis ein Bild entsteht, das zur Textbeschreibung passt. Für dich als Nutzer ist das unsichtbar, wichtig ist nur: Je präziser dein Prompt, desto kontrollierter das Ergebnis.

Ein Aquarell-Stil-Bild eines Bergsees bei Sonnenaufgang,
Nebelschwaden über dem Wasser, warme Orangetöne,
im Vordergrund ein einzelnes Kanu am Ufer

Eine ausführliche Anleitung zu Prompts, Stilen und Werkzeugen findest du in KI-Bildgenerierung.

Speech-to-Text: gesprochene Sprache wird Text

Speech-to-Text (STT), auch Transkription genannt, wandelt gesprochene Sprache in geschriebenen Text um. Das bekannteste offene Modell dafür ist OpenAIs Whisper, das mittlerweile in vielen Produkten steckt – von Meeting-Tools bis zu Diktierfunktionen auf dem Smartphone.

Typische Anwendungen:

• Meeting-Mitschriften: Teams, Zoom und Google Meet transkribieren Gespräche automatisch und fassen sie zusammen (siehe KI-Meeting-Transkription)
• Diktieren statt tippen: In Word, auf dem Smartphone oder direkt im Chat mit einem KI-Assistenten
• Untertitel für Videos automatisch generieren
• Sprachnotizen in strukturierten Text verwandeln, inklusive Zusammenfassung

Moderne multimodale Modelle wie GPT-5 oder Gemini können Audio inzwischen oft direkt verstehen, ohne den Umweg über eine separate Transkription – das Modell “hört” die Aufnahme quasi direkt.

Text-to-Speech: aus Text wird eine Stimme

Der umgekehrte Weg heisst Text-to-Speech (TTS): geschriebener Text wird als gesprochene Sprache ausgegeben. Die Qualität hat sich in wenigen Jahren enorm verbessert – von roboterhaften Ansagen zu Stimmen, die kaum noch von echten Sprechern zu unterscheiden sind. Bekannte Anbieter sind ElevenLabs, OpenAIs TTS-Modelle und Googles Angebote in Gemini (Stand: 2026-07).

Praktische Einsatzgebiete:

• Vorlesefunktionen für Artikel, E-Books, PDFs
• Voiceover für Videos und Präsentationen
• Sprachassistenten wie Siri, Alexa oder Google Assistant
• Barrierefreiheit: Screenreader für Menschen mit Sehbehinderung
• Mehrsprachige Vertonung – derselbe Text in mehreren Sprachen mit natürlich klingender Stimme

Ausführlicher dazu, inklusive Stimmenklonen und den damit verbundenen Risiken, im Artikel KI-Audio und Stimme.

Und Video?

Video ist die aufwendigste Modalität, weil es Bild, Bewegung und oft Ton gleichzeitig kombiniert. Auf der Verständnis-Seite können Modelle wie Gemini inzwischen ganze Videos analysieren und Fragen dazu beantworten (“Was passiert bei Minute 3?”). Auf der Erzeugungs-Seite generieren Modelle wie Sora (OpenAI), Veo (Google) und Runway kurze Videoclips direkt aus einer Textbeschreibung.

Beide Richtungen sind rechenintensiver als Text oder Bild und deshalb meist teurer, langsamer und in der Ausgabelänge stärker begrenzt. Details dazu in KI-Videogenerierung.

Praktische Beispiele aus dem Alltag

Wo die Grenzen liegen

So beeindruckend multimodale KI wirkt – sie hat klare Schwächen, die du kennen solltest:

• Halluzinationen gelten auch bei Bildern: Ein Modell kann in einem Foto Details “erkennen”, die gar nicht da sind, oder Zahlen aus einer Tabelle falsch ablesen. Wichtige Zahlen immer selbst gegenprüfen (siehe Warum KI halluziniert).
• Kontext geht schnell verloren: Bei langen Audio- oder Videodateien können Details aus der Mitte “vergessen” werden, ähnlich wie bei sehr langen Texten.
• Feine Details sind schwierig: Kleine Schrift, unscharfe Fotos oder überlagerte Geräusche führen oft zu falschen oder unvollständigen Ergebnissen.
• Bias in Trainingsdaten: Bild- und Audiomodelle spiegeln Verzerrungen aus ihren Trainingsdaten wider – etwa bei der Darstellung von Berufen oder Akzenten (mehr dazu in Bias und Fairness bei KI).
• Rechtliche Grauzonen: Wem gehört ein KI-generiertes Bild? Darf ein Trainingsbild urheberrechtlich geschütztes Material enthalten haben? Das ist teils ungeklärt – siehe KI und Urheberrecht.
• Datenschutz: Ein Foto oder eine Sprachaufnahme kann mehr private Information enthalten, als dir bewusst ist (Gesichter, Hintergrundgespräche, Standortdetails). Prüfe vor dem Hochladen, was wirklich sichtbar oder hörbar ist.

Entscheidungshilfe: welche Modalität für welche Aufgabe?

Was willst du erreichen?
│
├─ Etwas Geschriebenes verstehen oder erzeugen?
│   → Normaler Text-Chat (LLM)
│
├─ Ein Bild/Screenshot/Diagramm verstehen oder Text daraus extrahieren?
│   → Vision-Funktion des Chatbots (Bild hochladen)
│
├─ Ein neues Bild aus einer Beschreibung erzeugen?
│   → Text-zu-Bild-Tool (DALL·E, Midjourney, Imagen)
│
├─ Gesprochenes in Text umwandeln (Meeting, Sprachnotiz)?
│   → Speech-to-Text (Whisper-basierte Tools, Meeting-Software)
│
├─ Text als natürliche Stimme ausgeben?
│   → Text-to-Speech (ElevenLabs, integrierte Vorlesefunktionen)
│
└─ Video verstehen oder erzeugen?
    → Video-fähiges Modell (Gemini zum Verstehen, Sora/Veo zum Erzeugen)

Weiterlernen

• Wie ein LLM wirklich funktioniert – die Technik hinter Text- und Vision-Verarbeitung
• KI-Bildgenerierung – Prompts, Stile und Tools für Text-zu-Bild im Detail
• KI-Audio und Stimme – Sprachsynthese, Stimmenklonen und Risiken vertieft
• Deepfakes erkennen – wie du manipulierte Bilder, Audio und Video erkennst
• IBM: Was ist multimodale KI? – verständliche Einführung (englisch)
• OpenAI: Whisper – Speech Recognition – offizielle Doku zum Transkriptionsmodell (englisch)
• Google DeepMind: Gemini – offizielle Produktseite zu Googles multimodalem Modell (englisch)