Multimodalität – Text, Bild, Audio, Video, Code

Lernziele

• Sie definieren alle fünf Modalitäten (Text, Bild, Audio, Video, Code) und benennen für jede mindestens zwei konkrete Anwendungsfälle aus verschiedenen Branchenkontexten.
• Sie erklären den Unterschied zwischen nativer Multimodalität und pipeline-basierten Ansätzen und leiten daraus Qualitätsvorteile nativer Modelle ab.
• Sie füllen eine Input/Output-Matrix für alle fünf Modalitäten aus und identifizieren für drei gegebene Aufgaben den optimalen Modalitätspfad.
• Sie kennen die datenschutzrechtlichen Besonderheiten nicht-textueller Modalitäten (Gesichter, Stimmen, Quellcode) und wenden entsprechende Vorsichtsmaßnahmen an.
• Sie bewerten anhand einer Datenschutz-Ampel, welche multimodalen Anwendungsfälle in Consumer-Tools und welche nur in Enterprise-Umgebungen zulässig sind.

Auf einen Blick

Worum geht es? — Der didaktische Einstieg

Wer heute noch glaubt, KI sei „nur” ein Textgenerator, verpasst den wichtigsten Entwicklungsschritt der letzten zwei Jahre. Moderne KI-Modelle sehen, hören, sprechen und schreiben Code — und zwar nicht als fünf separate Systeme, sondern als ein einzelnes Modell, das Modalitäten nativ versteht und wechselt.

Stellen Sie sich folgendes Szenario vor: Ein Kunde schickt per Messenger ein Foto einer Fehlermeldung auf seinem Bildschirm und spricht gleichzeitig den Kontext ein: „Das passiert immer, wenn ich versuche, mich im VPN anzumelden.” Ein multimodales KI-System kann das Foto analysieren, den Sprach-Input transkribieren, den Fehler diagnostizieren und — per Code-Generierung — ein Script vorschlagen, das das Problem behebt. Das ist keine Zukunftsvision. Das ist heute, mit GPT-4o oder Claude 3.5, möglich.

Für Organisationen bedeutet das konkret: neue Formen der Kundenunterstützung, neue Effizienzgewinne in der Dokumentation, neue Wege der Wissensvermittlung — und neue Datenschutzfragen, die nicht ignoriert werden dürfen. Diese UE verschafft einen systematischen Überblick über alle fünf Modalitäten, ihre Stärken, ihre Grenzen und ihre rechtlichen Implikationen.

Lerntext — Theorie und Konzepte

Modalität 1 — Text: Das universelle Fundament

Text ist die historisch erste und nach wie vor dominanteste Modalität für KI-Anwendungen in der Wissensarbeit. Nahezu alle geschäftlichen Kernprozesse — E-Mails, Angebote, Projektberichte, Tickets, Protokolle, Verträge, Dokumentationen — basieren auf Text. Die Leistungsfähigkeit heutiger LLMs bei Text-Aufgaben wurde in UE 6 detailliert behandelt.

Der entscheidende Punkt für UE 8: Text ist nicht nur Eingabe und Ausgabe — es ist auch die Brücke zwischen den anderen Modalitäten. Wenn ein Modell ein Bild „beschreibt”, übersetzt es visuelle Information in Text. Wenn es ein Bild generiert, übersetzt es Text-Instruktionen in visuelle Information. Text ist die lingua franca der KI-Modalitäten — das verbindende Element zwischen allen anderen.

Modalität 2 — Bild: Sehen und Zeigen

Moderne Modelle verstehen Bilder auf zwei Ebenen: Analyse und Generierung.

Bildanalyse (Vision): GPT-4o Vision, Claude 3.5 Sonnet, Gemini 2.5 können Bilder direkt verarbeiten — Screenshots auswerten, Diagramme ablesen, Schaubilder in Zahlen extrahieren, handgeschriebene Notizen transkribieren, Fehler in UI-Designs erkennen, technische Skizzen interpretieren, Fotos von physischen Dokumenten lesen.

Typische Anwendungsfälle: Ein Administrator sendet einen Screenshot einer Fehlermeldung — das Modell analysiert den Fehler direkt, ohne dass der Text abgetippt werden muss. Ein Mitarbeitender fotografiert handgeschriebene Meeting-Notizen — das Modell transkribiert und strukturiert sie sofort. Ein Architekt lädt ein Gebäudediagramm hoch und fragt nach möglichen Optimierungen.

Bildgenerierung: DALL·E 3 (in ChatGPT integriert), Midjourney, Stable Diffusion, Adobe Firefly erstellen Bilder aus Text-Beschreibungen. Einsatz für Präsentationsvisuals, Konzeptillustrationen, Infografiken für technische Dokumentationen. Wichtig: Bildgenerierung ist gut für konzeptionelle Visualisierungen; fotorealistische Darstellungen von Personen erfordern stets eine rechtliche und ethische Prüfung.

Modalität 3 — Audio: Hören und Sprechen

Speech-to-Text (Transkription): OpenAI Whisper ist das bekannteste und für viele Anwendungsfälle leistungsstärkste Open-Source-Transkriptionsmodell. Es unterstützt über 90 Sprachen, einschließlich Deutsch auf sehr gutem Niveau. AssemblyAI, Deepgram und ähnliche Dienste bieten vergleichbare Leistungen als Cloud-API.

Konkrete Anwendung: Meeting-Aufzeichnungen aus Teams oder Zoom werden automatisch transkribiert, strukturiert und in Action Items umgewandelt. Das spart 20 bis 30 Minuten Protokollschreiben pro Meeting. Für Kundenmeetings gilt: Vor jeder Aufzeichnung immer explizites Einverständnis aller Teilnehmenden einholen — das ist datenschutzrechtlich zwingend und nach § 201 StGB (Verletzung der Vertraulichkeit des Wortes) strafrechtlich relevant.

Text-to-Speech: ElevenLabs, OpenAI TTS und Microsoft Azure Speech erzeugen hochwertige Sprachausgaben in natürlichen Stimmen — für Trainingsvideos, Audioguides, Barrierefreiheit. Grenzbereich: Deep-Fake-Audio und synthetische Stimmenklone erfordern immer rechtliche und ethische Prüfung.

Modalität 4 — Video: Die informationsdichteste Modalität

Video kombiniert alle anderen Modalitäten: Bilder (Frames), Audio (Ton), Text (Untertitel), Metadaten (Zeitstempel, Sprecher) und Bewegung. Videoanalyse ist die informationsdichteste, aber auch die aufwändigsten verarbeitbare Modalität.

Videoanalyse: Gemini 2.5 Pro kann Videos direkt verarbeiten — Meetings zusammenfassen, Action Items extrahieren, Schulungsvideos durchsuchbar machen, technische Demonstrationen transkribieren. Für ein 60-Minuten-Meeting-Video können relevante Segmente sekundengenau identifiziert werden. Diese Funktion ist für die Projektdokumentation besonders wertvoll: automatische Meeting-Analyse, Aufbau einer durchsuchbaren Wissensdatenbank aus aufgezeichneten Meetings.

Videogenerierung: Tools wie Sora (OpenAI), Runway Gen-3, Google Veo und Kling erzeugen kurze Videoclips aus Text-Prompts. Stand 2026: Qualität für kurze (5–15 Sekunden) professionelle Clips ist bereits produktionsreif für viele Zwecke — Erklärvideos, Produktdemos, Präsentationssequenzen. Für längere, konsistente Narrative bestehen noch erkennbare Limitierungen.

Modalität 5 — Code: Die präziseste Modalität

Code ist eine formale, strukturierte Sprache mit klaren Grammatikregeln — für LLMs besonders gut lernbar, weil Korrektheit überprüfbar ist (Syntax, Tests, Ausgabe). GitHub Copilot, Cursor, Claude und ChatGPT mit Advanced Data Analysis sind heute produktiv für eine breite Palette von Code-Aufgaben einsetzbar.

Für Nicht-Entwickler: Excel-Formeln und Power-Query-Scripts generieren, einfache Python-Datenanalysen erstellen, Fehlermeldungen interpretieren, PowerShell-Scripts für administrative Aufgaben, HTML für interne Dokumentation. Die Schwelle vom reinen Wissensarbeiter zum digitalen Gestalter sinkt erheblich.

Für Entwickler: Code-Reviews automatisieren, Refactoring-Vorschläge erhalten, Testfälle generieren, Dokumentation aus Code extrahieren, Legacy-Code erklären lassen. Studien zeigen Produktivitätssteigerungen von 30 bis 50 Prozent bei Routineaufgaben (GitHub Octoverse Report 2024).

Merksatz

Die fünf Modalitäten sind keine isolierten Fähigkeiten, sondern Bausteine eines einheitlichen Systems. Native multimodale Modelle — Modelle, die für alle Modalitäten gleichzeitig trainiert wurden — verarbeiten Modalitäten direkt im selben Repräsentationsraum, ohne Übersetzungsverlust durch separate Spezialsysteme. Das ist der qualitative Sprung gegenüber pipeline-basierten Vorgängerarchitekturen.

Native vs. Pipeline-Multimodalität

Frühere multimodale Systeme kombinierten separate spezialisierte Modelle: ein Bilderkennungsmodell und ein Sprachmodell, verbunden durch eine API. Dieser Ansatz leidet unter Übersetzungsverlusten — die Beschreibung eines Bildes in Worten ist immer eine Vereinfachung des visuellen Inhalts.

Native multimodale Modelle (GPT-4o, Gemini 2.5, Claude 3) wurden von Grund auf für alle Modalitäten gleichzeitig trainiert. Sie denken über Modalitäten hinweg — ein Bild wird nicht erst beschrieben und dann analysiert, sondern direkt im multimodalen Repräsentationsraum verarbeitet. Das Ergebnis: besseres Verständnis von Zusammenhängen zwischen Text und Bild, weniger Fehler bei der Interpretation mehrdeutiger visueller Informationen.

Input/Output-Matrix: Das Kreuzprodukt der Modalitäten

Tabelle 8.1 — Input/Output-Matrix der Modalitäten

Nicht jede Kombination ist heute gleich ausgereift. Text → Text und Bild → Text sind am stärksten. Video → alles ist im Aufbau. Die Matrix zeigt, welche Transformationen möglich sind — und lädt dazu ein, für jede Aufgabe den optimalen Modalitätspfad zu wählen.

Abb. 8.1 — Fünf Modalitäten: Analyse- und Generierungspfade

Vertiefung — Datenschutz und multimodale KI

Während Text-Daten oft pseudonymisiert werden können, enthalten andere Modalitäten häufig direkt personenbezogene Daten der besonderen Kategorien (DSGVO Art. 9).

Bilder und Videos: Gesichter auf Fotos und in Videos sind biometrische Daten — besondere Kategorie nach DSGVO Art. 9. Das gilt auch für Screenshots mit sichtbaren Namen oder E-Mail-Adressen von Personen. Vor jedem Bild-Upload in einen KI-Dienst: Sind Gesichter erkennbar? Sind personenbezogene Informationen sichtbar? Wenn ja — entweder schwärzen, anonymisieren oder ausschließlich DSGVO-konforme Dienste mit Auftragsverarbeitungsvertrag (AVV) nutzen.

Audio und Voice: Stimmen gelten als biometrische Merkmale. Aufzeichnungen von Telefonaten, Meetings oder Sprachnachrichten enthalten Personenstimmen und damit personenbezogene Daten. Für Meeting-Aufzeichnungen gilt: Explizites Einverständnis aller Teilnehmenden ist vor jeder Aufzeichnung einzuholen — das ist keine Empfehlung, sondern rechtliche Anforderung nach DSGVO und § 201 StGB.

Code und strukturierte Daten: Quellcode kann Geschäftsgeheimnisse, Datenbankstrukturen oder proprietäre Algorithmen enthalten. Bevor Code in Consumer-KI-Tools hochgeladen wird: Ist dieser Code proprietär? Enthält er Zugangsdaten, API-Schlüssel oder Verbindungsstrings? Die Antwort bestimmt, welches Tool zulässig ist.

Die Faustformel: Was ich in einer öffentlichen E-Mail nicht schreiben würde, lade ich nicht in einen Consumer-KI-Dienst hoch. Bei konkreter Unsicherheit über die datenschutzrechtliche Einordnung: zuerst den Datenschutzbeauftragten fragen, dann handeln. Im Zweifel: nicht hochladen.

Vertiefung II — Skalierungsgesetze: Chinchilla und das optimale Training

Einer der einflussreichsten Beiträge zur modernen KI-Forschung ist die Untersuchung, wie Modellgröße, Datenmenge und Rechenbudget zusammenwirken und was die optimale Kombination für ein gegebenes Budget ist. Die sogenannten Chinchilla-Skalierungsgesetze haben die Trainingsstrategie der gesamten KI-Branche verändert.

Die ursprünglichen Scaling Laws (Kaplan et al. 2020)

Das Papier „Scaling Laws for Neural Language Models” (Kaplan et al., OpenAI, 2020) beschrieb erstmals systematisch, wie die Verlustfunktion (ein Maß für die Modellqualität) mit drei Parametern skaliert: Modellgröße N (Anzahl der Parameter), Datenmenge D (Anzahl der Trainings-Tokens) und Rechenaufwand C (Gleitkommaoperationen). Das Kernergebnis: Die Verlustfunktion folgt vorhersagbaren Potenzgesetzen in allen drei Dimensionen.

Kaplan et al. schlussfolgerten, dass Modellgröße (N) und Rechenaufwand (C) die dominanten Faktoren sind — bei gegebenem Rechenbudget sollte man in erster Linie die Modellgröße maximieren, auch wenn das bedeutet, mit weniger Daten zu trainieren. Diese Schlussfolgerung beeinflusste die Trainingsstrategie von GPT-3 (2020): 175 Milliarden Parameter mit verhältnismäßig weniger Trainingsdaten als später als optimal erkannt.

Merksatz

Die Chinchilla-Skalierungsgesetze zeigen, dass viele Großmodelle vor 2022 untertrainiert waren: Sie hatten zu viele Parameter für zu wenige Trainingsdaten. Die optimale Trainingsstrategie ist, Modellgröße und Datenmenge proportional zu skalieren — doppelte Parameter erfordern doppelte Datenmenge.

Chinchilla (Hoffmann et al. 2022): Die Korretur

Nur zwei Jahre nach Kaplan et al. veröffentlichte DeepMind ein Papier, das diese Schlussfolgerungen fundamental revidierte: „Training Compute-Optimal Large Language Models” (Hoffmann et al. 2022), bekannt als die Chinchilla-Studie (nach dem gleichnamigen Testmodell). Die Kernaussage: Kaplan et al. hatten das Optimierungsproblem falsch formuliert. Sie hatten Modellgröße und Datenmenge nicht gemeinsam optimiert, sondern nur die Modellgröße bei wachsendem Rechenbudget skaliert.

Chinchilla zeigte: Bei einem gegebenen Rechenbudget C sollte man sowohl N als auch D proportional erhöhen. Die Faustformel: Für ein compute-optimales Modell sollte man ca. 20 Trainingsdaten-Tokens pro Parameter verwenden. Für ein Modell mit 70 Milliarden Parametern wären das 1,4 Billionen Tokens — deutlich mehr als GPT-3 verwendet hatte.

Praktische Konsequenzen der Chinchilla-Ergebnisse

Das Chinchilla-Modell selbst (70 Mrd. Parameter) überbot das vierfach größere Gopher-Modell (280 Mrd. Parameter, ebenfalls DeepMind) auf nahezu allen Benchmarks. Das demonstrierte eindrucksvoll: Ein kleineres Modell, das compute-optimal trainiert wurde, schlägt ein größeres, das nach veralteten Skalierungsregeln trainiert wurde.

Die Branche reagierte: Llama (Meta, 2023) orientierte sich explizit an Chinchilla-Prinzipien und trainierte verhältnismäßig kleinere Modelle auf deutlich mehr Daten. Llama-2 mit 7 Mrd. Parametern erreichte auf vielen Benchmarks Werte, die GPT-3 (175 Mrd. Parameter) übertrafen — ein direktes Ergebnis der besseren Datenmenge im Verhältnis zur Parameterzahl.

Grenzen und aktuelle Weiterentwicklung

Die Chinchilla-Erkenntnisse sind robust, aber haben ebenfalls Grenzen. Erstens sind die Skalierungsgesetze für die Trainingsphase beschrieben — Inferenz-Kosten (die Kosten für die Nutzung des Modells) skalieren anders. Für den wirtschaftlichen Betrieb eines Modells kann es vorteilhaft sein, ein kleineres Modell mit mehr Daten zu trainieren, selbst wenn das Trainings-Compute suboptimal ist, weil kleinere Modelle günstiger in der Inferenz sind.

Zweitens gelten Chinchilla-Ergebnisse für den Vortrainings-Loss auf Sprachmodellierungsaufgaben. Ob die gleichen Gesetze für Reasoning, Mathematik oder multimodale Fähigkeiten gelten, ist Gegenstand aktiver Forschung. Drittens gibt es neuere Erkenntnisse (LLaMA 3, Gemma 2), dass Übertraining über die Chinchilla-optimale Datenmenge hinaus für die Inferenz-Effizienz vorteilhaft sein kann — eine weitere Komplexitätsebene.

Mixture of Experts: Effizienter skalieren

Eine Architekturinnovation, die die Skalierungsdiskussion verändert: Mixture of Experts (MoE). Statt alle Parameter für jeden Token zu aktivieren, wählt ein MoE-Modell für jeden Token nur eine Untermenge von Experten-Netzen. GPT-4 soll laut Spekulationen eine MoE-Architektur mit ~8 Experten verwenden, von denen pro Token nur 2 aktiv sind. Das reduziert die effektiven Aktivierungen pro Token, ermöglicht aber sehr große Gesamtparameterzahlen. Mistral-8x7B (Mistral AI) ist ein gut dokumentiertes Open-Source-Beispiel dieser Architektur.

Bedeutung der Skalierungsgesetze für strategische Investitionsentscheidungen

Die Chinchilla-Erkenntnisse haben nicht nur technische, sondern auch erhebliche wirtschaftliche und strategische Konsequenzen. Für Unternehmen, die über den Einsatz oder gar das Training eigener KI-Modelle nachdenken, lassen sich drei strategische Implikationen ableiten.

Erstens ist die Anschaffung des größten verfügbaren Modells nicht automatisch die beste Investition. Ein deutlich kleineres, aber compute-optimal trainiertes Modell (wie LLaMA 3 oder Phi-3) kann in praktischen Anwendungen ähnliche oder sogar bessere Ergebnisse liefern als ein unverhältnismäßig großes, untertrainiertes Modell — bei deutlich geringeren Infrastruktur- und Betriebskosten.

Zweitens sollte die Datenstrategie vor der Modellstrategie kommen. Bevor ein Unternehmen in Fine-Tuning oder eigenes Training investiert, muss die Qualität und Quantität der verfügbaren Trainingsdaten bewertet werden. Die Chinchilla-Regel gibt eine klare Orientierung: Für ein Modell mit 7 Milliarden Parametern sind rund 140 Milliarden hochwertige Trainings-Tokens erforderlich — das ist mehr Textvolumen, als die meisten Unternehmen intern generieren. Der realistische Weg für die meisten Organisationen ist daher Domain-Adaptation durch Fine-Tuning eines bereits vortrainierten Modells auf einer verhältnismäßig kleinen Menge domänenspezifischer Daten.

Drittens verändern Skalierungsgesetze die Wettbewerbsdynamik. Unternehmen mit Zugang zu mehr Daten und mehr Rechenleistung können tendenziell bessere Modelle trainieren — das erklärt die Konzentration auf wenige große Anbieter (OpenAI, Google, Meta, Anthropic) und ist zugleich ein Argument dafür, warum europäische und mittelständische Unternehmen auf vortrainierte Open-Source-Modelle setzen sollten, anstatt zu versuchen, eigene Foundation Models zu trainieren.

Rechenkosten und Energiebilanz

Die physikalischen Grenzen der KI-Skalierung sind nicht nur eine wissenschaftliche Frage, sondern eine wirtschaftliche und ökologische Realität. Das Training von GPT-4 hat nach Schätzungen mehrere Tausend Megawattstunden Strom verbraucht; Google und Microsoft haben für ihre KI-Rechenzentren Ausnahmegenehmigungen für höheren Energieverbrauch beantragt. Die IEA (International Energy Agency) schätzte 2024, dass globale Rechenzentren bis 2030 ca. 10 % des weltweiten Stromverbrauchs ausmachen könnten — ein erheblicher Teil davon durch KI-Workloads.

Für Unternehmen bedeutet das: Die CO2-Bilanz von KI-Anwendungen ist ein zunehmend relevantes ESG-Thema. Wer KI-Systeme betreibt und über Nachhaltigkeitsziele berichtet, muss die Scope-3-Emissionen aus Cloud-KI-Nutzung quantifizieren und berichten können. Effizientere Modellarchitekturen, lokaler Betrieb auf energieeffizienterer Hardware und gezielterer KI-Einsatz (nicht für jede Anfrage das größte Modell) sind konkrete Hebel zur Emissionsreduktion.

Praxisvertiefung: Bildgenerierung im Unternehmenseinsatz — Chancen, Grenzen und Compliance

Bildgenerierungs-KI (Text-zu-Bild-Modelle wie DALL·E 3, Midjourney, Stable Diffusion) hat sich in kurzer Zeit zu einem ernstzunehmenden Produktivitätswerkzeug entwickelt. Für Unternehmen sind sowohl die Potenziale als auch die rechtlichen Rahmenbedingungen relevant.

Unternehmensrelevante Anwendungsfälle: Erstellung von Illustrationen für interne Präsentationen und Berichte (erhebliche Kosteneinsparung gegenüber Stock-Foto-Lizenzen oder Illustratoren); Rapid Prototyping für Marketingmaterialien (erste Entwürfe ohne Agenturkosten); Erstellung von Produktvisualisierungen für E-Commerce (besonders bei variantenreichen Produkten); UI/UX-Mockups (schnelle visuelle Konzeptvalidierung).

Rechtliche Grauzone: Urheberrecht: Der Urheberrechtsstatus von KI-generierten Bildern ist international unterschiedlich geregelt. In Deutschland und der EU gilt: Ein rein KI-generiertes Bild ohne schöpferischen menschlichen Beitrag ist nach aktueller Rechtsprechung nicht urheberrechtlich schutzfähig. Das bedeutet: Das Unternehmen kann das Bild nicht als eigenes urheberrechtlich geschütztes Werk schützen. Gleichzeitig können die KI-generierten Bilder Urheberrechte Dritter verletzen, wenn das Training-Modell urheberrechtlich geschützte Bilder ohne Lizenz verwendet hat — ein rechtlich noch nicht vollständig geklärter Bereich.

Datenschutz bei Personenabbildungen: KI-generierte Bilder, die reale Personen darstellen oder täuschend ähnlich abbilden, können Persönlichkeitsrechte verletzen. Für Unternehmenseinsatz gilt: Keine KI-Bilder von echten, identifizierbaren Personen ohne deren Einwilligung; Kennzeichnungspflichten für KI-generierte Bilder in Kommunikation nach Art. 50 EU AI Act bei synthetischen Inhalten, die Menschen täuschen könnten.

Branchen-Anwendungen

IT-Dienstleistung & Beratung

In einem IT-Beratungshaus revolutioniert Multimodalität vor allem den Helpdesk-Bereich und die Angebotserstellung. Im Helpdesk: Administratoren und Endanwender können Fehlermeldungen, System-Logs oder Konfigurationsbildschirme direkt als Screenshot hochladen und von einem multimodalen Modell analysieren lassen. Die Fehlerdiagnose beschleunigt sich erheblich, insbesondere bei selten auftretenden Fehlercodes, die kein einzelner Helpdesk-Mitarbeiter aus dem Gedächtnis kennt. Voraussetzung: Screenshots dürfen keine internen Systemnamen, IP-Adressen oder Anmeldedaten enthalten, die über Consumer-Tools verarbeitet werden — für sensible Infrastrukturumgebungen sind On-Premise-Lösungen oder Enterprise-Tools mit AVV erforderlich.

In der Angebotserstellung: KI kann aus technischen Anforderungsdokumenten (PDF, Screenshot, eingescannte Zeichnung) automatisch eine strukturierte Anforderungsliste extrahieren, diese in ein Angebotsdokument überführen und mit Bildgenerierung konzeptionelle Architekturdiagramme für die Visualisierung ergänzen. Ein dreistündiger Prozess (Lesen, Strukturieren, Schreiben, Visualisieren) kann auf 45 Minuten verkürzt werden — bei höherer struktureller Qualität.

Industrie & Fertigung

In der Fertigung eröffnet Multimodalität besonders im Bereich Qualitätssicherung und Wartung neue Möglichkeiten. Bildanalyse: Kameras in der Produktionslinie können Bilder von gefertigten Teilen an ein multimodales Modell übermitteln, das Oberflächenfehler, Maßabweichungen und Produktionsmängel erkennt. Dieser Ansatz ist nicht vollständig neu — Bildverarbeitung gab es bereits vor LLMs — aber multimodale Modelle senken die Implementierungsschwelle erheblich, da sie ohne spezifisches Training auf Beschreibungen basierend arbeiten.

Im Bereich Wartung und Maschinenführung: Techniker können Bilder von unbekannten Komponenten, Bedienelementen oder Fehlerzuständen fotografieren und von einem multimodalen Modell beschreiben und diagnostizieren lassen. Wartungsanleitungen aus technischen Zeichnungen (Foto → Text) können automatisch erstellt werden. Der Datenschutz-Aspekt: Fertigungsbilder können Betriebsgeheimnisse enthalten — keine proprietären Produktionsanlagen-Bilder in Consumer-Tools hochladen.

Finanzdienstleistung & Versicherung

Bei Versicherungsunternehmen bietet Multimodalität vor allem bei der Schadensmeldungsbearbeitung Potenzial. Kunden können Schadensfotos (Autounfall, Wasserschaden, Einbruch) direkt einreichen — ein multimodales KI-System kann die Fotos analysieren, Schadensmuster klassifizieren, erste Kostenschätzungen vorschlagen und den Fall vorstrukturieren. Der Sachbearbeiter erhält einen vorbereiteten Fall statt eines unstrukturierten Daten-Eingangs.

Datenschutz-Kritikalität: Schadensfotos können Personen zeigen (biometrische Daten), medizinische Zustände dokumentieren (besondere Datenkategorie nach DSGVO Art. 9) oder Innenräume von Wohnungen zeigen (sensitive Privatsphäre-Daten). Für die Verarbeitung solcher Bilder ist ein DSGVO-konformer Rahmen zwingend — Consumer-Tools sind hier nicht geeignet.

Öffentliche Verwaltung

In Kommunalverwaltungen bietet Multimodalität vor allem bei der Digitalisierung von Schriftverkehr und der Barrierefreiheit Ansatzpunkte. Eingescannte handgeschriebene Anträge, alte Aktendokumente, handschriftliche Bürgeranfragen können durch Bild-zu-Text-Verarbeitung digitalisiert und durchsuchbar gemacht werden. Das reduziert manuelle Abschreibarbeit erheblich.

Für Barrierefreiheit: Text-to-Speech-Systeme können Bescheide und Behördeninformationen für Menschen mit Sehbeeinträchtigung zugänglich machen; Bildanalyse kann öffentliche Dokumente für Screenreader aufbereiten. Die Datenschutz-Anforderungen der öffentlichen Verwaltung sind besonders hoch — alle Verarbeitungsprozesse mit personenbezogenen Daten müssen über datenschutzkonforme, vertraglich abgesicherte Systeme laufen. Consumer-Tools sind für personenbezogene Verwaltungsdaten grundsätzlich nicht geeignet.

Übung 1 — Multimodale Analyse einer Fehlermeldung

Übung 1

Aufgabe: Sie erhalten (oder erstellen) einen Screenshot einer Fehlermeldung und analysieren ihn mittels eines multimodalen KI-Modells — alles in einem einzigen Dialog.

Material: Laptop mit Internetzugang, ChatGPT Plus oder Claude Pro (Bildupload-Funktion), eigener Screenshot einer Fehlermeldung oder Systemausgabe (kann auch ein selbst erstelltes Testbild sein).

Schritt-für-Schritt: 1. Öffnen Sie ChatGPT oder Claude und starten Sie ein neues Gespräch. 2. Laden Sie einen Screenshot einer Fehlermeldung oder eines Systemzustands hoch. 3. Stellen Sie folgende Anfrage: „Analysiere diesen Screenshot und beantworte: (a) Was wird hier angezeigt? (b) Was ist die wahrscheinliche Ursache? (c) Welche Lösungsschritte empfiehlst du? Antworte strukturiert in diesen drei Punkten.” 4. Lesen Sie die Antwort des Modells sorgfältig. Achten Sie darauf, ob das Modell Informationen korrekt aus dem Bild extrahiert hat. 5. Stellen Sie eine Folgefrage: „Kannst du mir einen konkreten Befehl geben, der das Problem behebt?” — um Code-Generierung in Kombination mit Bildanalyse zu testen. 6. Prüfen Sie: Enthält der Screenshot sensible Daten (Benutzernamen, IP-Adressen, Firmennamen)? Hätten Sie dieses Bild in ein Consumer-Tool hochladen dürfen?

Musterlösung:

Eingabe: Screenshot einer Windows Event-Viewer-Fehlermeldung (Event ID 1000, Application Error).

Erwartete KI-Diagnose: - Was angezeigt wird: Windows Event ID 1000 = Application Crash. Betroffene Systemdatei deutet auf Speicherprobleme oder inkompatible Anwendung hin. - Wahrscheinliche Ursache: Beschädigte Systemdateien (nach Update) oder Hardware-RAM-Fehler. - Lösungsschritte: (1) sfc /scannow im Administrator-CMD; (2) DISM /Online /Cleanup-Image /RestoreHealth; (3) RAM-Diagnose.

Datenschutz-Reflexion: Ein echter Server-Screenshot enthält typischerweise Hostnamen, Benutzernamen oder IP-Adressen. In diesem Fall wäre der Upload in ChatGPT ohne Enterprise-Vertrag problematisch. Lösung: Sensible Informationen im Screenshot schwärzen oder On-Premise-Lösung verwenden.

Übung 2 — Modalitäts-Mapping für die eigene Organisation

Übung 2

Aufgabe: Sie erstellen eine strukturierte Übersicht, welche multimodalen KI-Werkzeuge für welche konkreten Aufgaben in Ihrer Organisation einsetzbar sind — mit Datenschutz-Bewertung.

Schritt-für-Schritt: 1. Legen Sie eine Tabelle an: Aufgabe | Modalität (Input) | Modalität (Output) | Empfohlenes Tool | Datenschutz (Grün/Gelb/Rot) | Begründung. 2. Tragen Sie acht typische Aufgaben aus Ihrer Organisation ein. 3. Wählen Sie für jede Aufgabe die zutreffenden Modalitäten aus der Input/Output-Matrix. 4. Recherchieren Sie ein konkretes Tool für jede Aufgabe. 5. Bewerten Sie die Datenschutz-Relevanz: Grün = keine personenbezogenen Daten; Gelb = ggf. personenbezogene Daten, AVV erforderlich; Rot = sensible Daten, nur On-Premise. 6. Ergänzen Sie: „Sofort umsetzbar (Ja/Nein)” — welche Anwendungen könnten Sie nächste Woche produktiv einsetzen?

Musterlösung:

Cheatsheet

Erweiterte Übung 3 — Modell-Vergleichs-Matrix erstellen

Übung 3 — Modell-Vergleichs-Matrix

Aufgabe: Sie erstellen für ein konkretes Unternehmensvorhaben eine strukturierte Modell-Vergleichs-Matrix, wählen das geeignete Modell und begründen Ihre Entscheidung anhand technischer, wirtschaftlicher und regulatorischer Kriterien. Diese Aufgabe verbindet Benchmark-Wissen, Skalierungsverständnis und strategische Entscheidungsfindung auf Transfer-Niveau.

Ausgangsszenario: Ein mittelständisches Unternehmen (Gesundheitsbranche, 500 Mitarbeitende) möchte ein KI-System einführen, das medizinische Entlassungsbriefe aus Kliniken zusammenfasst und für nachbehandelnde Hausärzte aufbereitet. Anforderungen: - Verarbeitung von Texten mit bis zu 8.000 Wörtern (Entlassungsbriefe können sehr lang sein). - Hohe Präzision bei medizinischer Terminologie auf Deutsch. - Datenschutz: Personenbezogene Gesundheitsdaten (besonders sensibel nach DSGVO Art. 9). - Budget: Max. 500 EUR monatliche API-Kosten bei 200 Briefen pro Tag. - Erklärbarkeit: Ärzte müssen nachvollziehen können, wie die Zusammenfassung entstanden ist.

Modellkandidaten zur Bewertung: - Modell A: GPT-4o (OpenAI, API, US-Server) - Modell B: Claude 3.5 Sonnet (Anthropic, API, US-Server) - Modell C: Mistral Large (Mistral AI, API, EU-Server Frankreich) - Modell D: Llama 3.1 70B (Meta, On-Premise auf eigenem Server in Deutschland) - Modell E: Gemini 2.5 Pro (Google, API, EU-Server optional)

Schritt-für-Schritt:

1. Bewertungsmatrix erstellen: Erstellen Sie eine Tabelle mit den Modellen als Zeilen und folgenden Kriterien als Spalten: Kontextfenster ausreichend?, DSGVO-Compliance (Einschätzung), Deutsch-Qualität (1–3), Monatliche Kosten (Schätzung), Erklärbarkeit der Ausgabe (1–3), EU AI Act Hochrisiko-Konsequenzen.
2. Kostenberechnung: Schätzen Sie die monatlichen API-Kosten für alle API-basierten Modelle. Annahme: 200 Briefe/Tag × 22 Werktage/Monat = 4.400 Briefe. Durchschnittlich 8.000 Wörter Input × 1,7 Token/Wort = 13.600 Token/Brief; Ausgabe 500 Wörter × 1,7 = 850 Token/Brief. Preise: GPT-4o: 2,50 $/1M Input, 10 $/1M Output; Claude 3.5 Sonnet: 3 $/1M Input, 15 $/1M Output; Mistral Large: ca. 2 $/1M Input, 6 $/1M Output.
3. Compliance-Analyse: Welche Modelle können mit DSGVO Art. 9-Daten ohne Weiteres eingesetzt werden? Begründen Sie, welche Voraussetzungen jeweils erfüllt sein müssen.
4. Empfehlung: Wählen Sie das beste Modell für das Szenario und begründen Sie Ihre Wahl in einem strukturierten Absatz (ca. 150 Wörter). Nennen Sie auch den wichtigsten Nachteil Ihrer Empfehlung.
5. EU AI Act: Handelt es sich um ein Hochrisiko-System? In welcher Kategorie des Anhangs III würde es eingeordnet?

Erwartetes Ergebnis: Vollständig ausgefüllte Vergleichsmatrix, Kostenberechnung für API-Modelle, begründete Modellempfehlung und EU AI Act-Einordnung.

Musterlösung:

Kostenberechnung (monatlich, 4.400 Briefe): - Input: 4.400 × 13.600 = 59.840.000 Tokens = 59,84 Mio. Tokens - Output: 4.400 × 850 = 3.740.000 Tokens = 3,74 Mio. Tokens - GPT-4o: 59,84 × 2,50 + 3,74 × 10 = 149,60 + 37,40 = 186,99 USD/Monat ✓ (im Budget) - Claude 3.5 Sonnet: 59,84 × 3 + 3,74 × 15 = 179,52 + 56,10 = 235,62 USD/Monat ✓ (im Budget) - Mistral Large: 59,84 × 2 + 3,74 × 6 = 119,68 + 22,44 = 142,12 USD/Monat ✓ (im Budget)

Alle API-Modelle liegen unter dem Budget-Limit von ca. 500 EUR.

Compliance-Analyse: Modell D (Llama 3.1, On-Premise) ist die einzige Option ohne DSGVO-Risiko bei Gesundheitsdaten, da keine Daten das Unternehmen verlassen. Mistral Large (EU-Server) ist die beste API-Option, erfordert aber einen AVV und Prüfung, ob Trainingsdaten-Nutzung vertraglich ausgeschlossen ist. GPT-4o und Claude benötigen Standard Contractual Clauses (SCC) und AVV für besonders sensible Gesundheitsdaten nach DSGVO Art. 9.

Empfehlung: Für dieses Szenario empfiehlt sich Llama 3.1 70B On-Premise oder Mistral Large mit EU-Rechenzentrum. Begründung: Gesundheitsdaten nach DSGVO Art. 9 erfordern höchsten Datenschutzstandard; der On-Premise-Ansatz eliminiert das Datenschutzrisiko vollständig. Mistral Large mit EU-Servern ist die wirtschaftlichere Alternative, wenn On-Premise-Infrastruktur nicht vorhanden ist. Hauptnachteil On-Premise: erheblicher Infrastrukturaufwand (GPU-Server, IT-Betrieb, Updates).

EU AI Act: Ja, Hochrisiko. KI-gestützte Aufbereitung medizinischer Entlassungsbriefe für nachbehandelnde Ärzte fällt unter Anhang III Nr. 5 Buchstabe (a) (KI-Systeme für die Steuerung oder Überwachung von kritischer Infrastruktur) oder Anhang III Nr. 5 — je nach finaler Auslegung unter medizinische Vorrichtungen. In jedem Fall: Konformitätsbewertung, technische Dokumentation, menschliche Aufsicht und Transparenzpflichten erforderlich.

Cheatsheet

Fünf Modalitäten im Überblick: - Text: Kernkompetenz, lingua franca aller Modalitäten — übersetzen, strukturieren, formulieren - Bild: Analyse (Vision) + Generierung; Bilder können biometrische Daten enthalten (DSGVO Art. 9) - Audio: Speech-to-Text (Whisper) + Text-to-Speech; Stimmen sind biometrische Merkmale - Video: Informationsdichteste Modalität; Gemini 2.5 Pro für Videoanalyse führend - Code: Präziseste Modalität, da Korrektheit überprüfbar; Copilot/Claude für produktive Nutzung

Native vs. Pipeline: - Native multimodale Modelle: kein Übersetzungsverlust, bessere Qualität bei komplexen Aufgaben - Pipeline-Ansätze (alt): separate Modelle verbunden, Qualitätsverlust durch Übersetzungsschritte

Datenschutz-Regeln für Nicht-Text-Modalitäten: - Gesichter in Bildern/Videos = biometrische Daten → Sonderkategorie DSGVO Art. 9 - Stimmen in Audio = biometrische Merkmale → nur mit AVV und Einwilligung - Quellcode = mögliche Geschäftsgeheimnisse → nur Enterprise-Tools oder On-Premise - Faustregel: Was ich nicht per öffentlicher E-Mail schicken würde, lade ich nicht in Consumer-KI hoch

Input/Output-Merkhilfe: Text→Bild = Generierung | Bild→Text = Analyse | Audio→Text = Transkription | Text→Audio = Sprachausgabe | Code→Text = Erklärung | Text→Code = Generierung

Prompt-Beispiel: Multimodale Analyse eines Schadenberichts für die Verwaltung

Rolle: Sie sind Sachbearbeiter beim städtischen Tiefbauamt und zuständig für die Bearbeitung von Schadensmeldungen an Straßen und Gehwegen.

Aufgabe: Nutzen Sie ein multimodales LLM, um ein Foto eines Straßenschadens (Riss im Asphalt, ca. 3 m lang, 2 cm breit) zusammen mit einer kurzen Beschreibung zu analysieren und einen strukturierten Erstbefund zu erstellen, der die Dringlichkeitsstufe, den empfohlenen Reparaturtyp und die rechtliche Haftungsrelevanz einschätzt.

Kontext: Die Verwaltung hat 300–500 Schadensmeldungen pro Monat. Bisher werden alle Meldungen manuell priorisiert. Das Ziel ist eine KI-gestützte Erstpriorisierung, die menschlich geprüft wird.

Format: Strukturierter Erstbefund mit Abschnitten: Schadensbeschreibung (aus Bild und Text), Dringlichkeitsstufe (1–5 mit Begründung), empfohlene Maßnahme, Haftungsrelevanz-Einschätzung (ja/nein/prüfen), Konfidenz-Angabe.

Beispiel-Ergebnis (gekürzt): „Schadensbeschreibung: Längsriss im Fahrbahnbelag, Länge ca. 3 m, sichtbare Breite 2 cm. Dringlichkeit: 3/5 — Riss erfordert Beobachtung; bei Frost-Tau-Wechsel Aufweitung wahrscheinlich. Empfohlene Maßnahme: Kaltasphalt-Provisorium innerhalb 4 Wochen. Haftungsrelevanz: prüfen — bei Lage auf Gehweg und Sicherheitsrelevanz ggf. Sofortmaßnahme nötig. Konfidenz: mittel — Tiefe des Risses nicht beurteilbar aus Bild.”

Vertiefung: Cross-Modal-Transfer und die Grenzen des gemeinsamen Embedding-Raums

Multimodale Modelle verarbeiten Text, Bild, Audio und Video — aber wie funktioniert das technisch, und was folgt daraus für die Zuverlässigkeit?

Das gemeinsame Embedding-Konzept: Frühe Ansätze zu Multimodalität (z. B. CLIP von OpenAI, 2021) lernten, Bilder und Texte in denselben Vektorraum zu projizieren — ein Bild und seine Textbeschreibung lagen im Vektorraum nah beieinander. Dadurch wurde Bild-Text-Matching und Zero-Shot-Bildklassifikation möglich.

Moderne End-to-End-Multimodalität: Aktuelle Modelle wie GPT-4o, Claude 3.5 und Gemini 2.5 werden zunehmend end-to-end auf multimodalen Daten trainiert. Das bedeutet: Das Modell lernt direkt, aus Pixel-Eingaben, Audiowaveforms und Token-Sequenzen gemeinsam zu lernen. Das verbessert die Integration verschiedener Modalitäten, macht die Systeme jedoch schwerer zu interpretieren.

Wo Multimodalität versagt: Räumliches Denken (wo ist Objekt X relativ zu Objekt Y?) ist für aktuelle Modelle schwieriger als für Menschen, die über Jahrzehnte räumliche Erfahrung akkumuliert haben. Das Zählen von Objekten in Bildern ist fehleranfällig ab ca. 5–6 Objekten. Die Verarbeitung von Handschrift und degradierten Textquellen (verblasste Scans, niedrige Auflösung) ist schlechter als bei hochwertigen Digitalfotos. Videoanalyse ist rechenintensiv und reagiert empfindlich auf Qualitätsschwankungen.

Praktische Implikation: Für produktive Multimodal-Anwendungen gilt: Die Modalität mit dem schlechtesten Input bestimmt die Qualität der gesamten Analyse. Ein Foto in schlechter Belichtung führt auch bei besten Modellen zu unzuverlässigen Ergebnissen — das ist ein Qualitätssicherungsproblem, das organisatorisch gelöst werden muss, nicht technisch.

Branchen-Vignette: Öffentliche Verwaltung — Multimodale KI in der Stadtplanung

Ein Stadtplanungsamt mit 60 Mitarbeitenden bearbeitet jährlich rund 2.500 Baugenehmigungsanträge. Viele Anträge enthalten multimodale Inhalte: Lagepläne (Bilder), Baubeschreibungen (Text), Statikberechnungen (Tabellen), Fotos der Baustelle (Bilder). Bisher werden alle Inhalte manuell gesichtet.

Ein Pilotprojekt testet ein multimodales LLM für die automatische Vollständigkeitsprüfung: Sind alle erforderlichen Dokumente vorhanden? Liegen Lageplan und Baubeschreibung inhaltlich konsistent vor? Das System soll nicht genehmigen, sondern nur Vollständigkeit und offensichtliche Inkonsistenzen prüfen.

Das Wissen über Multimodalität hilft dem Projektteam, realistische Systemgrenzen zu definieren: Die Vollständigkeitsprüfung (Dokument vorhanden oder nicht) ist eine Stärke — regelbasiert und klar definierbar. Die inhaltliche Konsistenzprüfung zwischen Lageplan und Baubeschreibung ist machbar, aber mit höherem Fehlerrisiko behaftet, weil räumliche Interpretationen fehleranfällig sind. Die rechtliche Bewertung von Grenzfällen verbleibt vollständig beim menschlichen Sachbearbeiter.

Übung 4 — Modalitäts-Mapping für einen eigenen Arbeitsprozess

Aufgabe: Sie kartieren einen realen Arbeitsprozess aus Ihrer Organisation nach den beteiligten Datenmodalitäten und identifizieren, welche KI-Unterstützung technisch möglich und organisatorisch sinnvoll wäre.

Schritt-für-Schritt: 1. Wählen Sie einen Arbeitsprozess, der mindestens zwei verschiedene Medientypen (Text, Bild, Audio, Tabelle, Video) beinhaltet. 2. Beschreiben Sie den Prozess in fünf Schritten (Prozess-Flow). 3. Notieren Sie für jeden Schritt, welche Modalitäten verarbeitet werden (Input) und welche erzeugt werden (Output). 4. Markieren Sie, welche Schritte Sie für KI-unterstützbar halten — und welche nicht. 5. Skizzieren Sie für einen geeignet bewerteten Schritt: Welches multimodale Modell käme in Frage? Was ist der Prompt? Wer prüft das Ergebnis? 6. Bewerten Sie: Welche Informationen gehen verloren, wenn eine menschliche Sinnesleistung (z. B. taktiles Feedback, emotionale Reaktion im persönlichen Gespräch) durch KI-Analyse ersetzt wird?

Erwartetes Ergebnis: Dokumentierter Prozess-Flow mit Modalitätsanalyse, Eignungsbewertung und ein ausgearbeitetes KI-Unterstützungskonzept für einen Schritt.

Reflexionsfragen

1. Welche der fünf Modalitäten nutzen Sie in Ihrer täglichen Arbeit bereits für KI-Unterstützung — und welche haben Sie noch nie ausprobiert? Was hält Sie davon ab?
2. Stellen Sie sich vor, ein Kunde schickt Ihnen eine Sprachnachricht mit vertraulichen Projektdetails. Welche Schritte müssen Sie unternehmen, bevor Sie KI-gestützte Transkription einsetzen?
3. Warum ist native Multimodalität qualitativ besser als das Verbinden separater Modelle per Pipeline? Was kann dabei verloren gehen?
4. Für welche Aufgaben in Ihrem Arbeitsalltag würde eine Kombination aus mehreren Modalitäten — z. B. Bild + Text + Code — besonders viel Effizienz schaffen?
5. Die Qualität KI-generierten Videos verbessert sich rasant. Welche konkreten Möglichkeiten entstehen dadurch — und welche neuen Risiken (Deepfakes, Identitätsmissbrauch) sind damit verbunden?

Selbstlerner-Hinweise — UE 8

Für Selbstlernende ohne Kurs-Kontext:

Lernpfad: Probieren Sie mindestens zwei Modalitäten praktisch aus, die Sie noch nicht genutzt haben. Wenn Sie bisher nur Text-Prompts verwenden: Testen Sie die Bildanalyse oder Sprach-zu-Text. Dokumentieren Sie Erfahrungen systematisch.

Empfohlene Ergänzungsquellen: OpenAI GPT-4o System Card enthält Details zu Fähigkeiten und Grenzen in verschiedenen Modalitäten. „Whisper” Paper von OpenAI erklärt die Grundlagen automatischer Spracherkennung.

Praktische Aufgabe: Führen Sie eine „Modalitäten-Tour” durch: Nutzen Sie ein multimodales LLM für vier Aufgaben mit unterschiedlichen Modalitäten. Vergleichen Sie Ausgabequalität und notieren Sie Überraschungen.

Zeitaufwand: Lerntext: ca. 70 Minuten. Modalitäten-Tour: 40 Minuten. Übung 1 (Multimodale Analyse): 20 Minuten. Gesamt: ca. 2–2,5 Stunden.

Selbstkontrollfragen: Können Sie die fünf Hauptmodalitäten mit je einem Unternehmens-Use-Case nennen? Können Sie den Unterschied zwischen nativer Multimodalität und einer Pipeline aus separaten Modellen erklären?

Prompt-Beispiel: Multimodale Inhalte für eine Wissensdatenbank strukturieren

Rolle: Sie sind Knowledge-Management-Beauftragter eines Ingenieurbüros (120 Mitarbeitende).

Aufgabe: Entwerfen Sie einen Prompt für ein multimodales LLM, das Bilder von Konstruktionszeichnungen zusammen mit zugehörigen Projektnotizen (Text) analysiert und eine strukturierte Wissensdatenbank-Eintragung erstellt.

Kontext: Das Ingenieurbüro hat über 2.000 abgeschlossene Projekte, deren Dokumentation aus Zeichnungen (PDF/TIFF), handschriftlichen Notizen (gescannt) und CAD-Exportdaten besteht. Ziel: Eine durchsuchbare Wissensdatenbank, die für neue Projekte als Referenz dient. Kritisch: Die Einträge müssen inhaltlich korrekt sein — Fehler könnten zu Plagiats- oder Haftungsrisiken führen.

Format: System-Prompt (ca. 120 Wörter) für ein multimodales Modell, das Bild + Text verarbeitet und einen strukturierten Datenbankexport-Eintrag im JSON-Format erstellt (Felder: Projekttitel, Projekttyp, Tragwerkstyp, Besonderheiten, Schlagwörter, Konfidenzwert).

Beispiel-Ergebnis (gekürzt): „Sie sind ein Dokumentationsassistent für ein Bauingenieur-Büro. Sie erhalten eine Konstruktionszeichnung (Bild) und Projektnotizen (Text). Extrahieren Sie folgende Felder: Projekttitel (aus Notizen oder Zeichnungsschild), Projekttyp (Neubau/Sanierung/Gutachten), Tragwerkstyp (Stahlbeton/Stahl/Holz/Hybrid), Besonderheiten (ungewöhnliche Konstruktionslösungen), Schlagwörter (5–8 Fachbegriffe). Vergeben Sie für jedes Feld einen Konfidenzwert (hoch/mittel/niedrig). Bei niedrigem Konfidenz: markieren Sie das Feld mit [PRÜFEN].”

Zusätzliche Reflexionsfragen — Vertiefung

1. Welche ethischen Risiken entstehen durch multimodale KI speziell bei der Verarbeitung von Bilddaten — im Vergleich zu reinen Textdaten? Nennen Sie mindestens zwei konkrete Risikoszenarien.
2. Deepfakes (KI-generierte Bild/Video-Manipulationen) sind ein direktes Ergebnis multimodaler Generierungsmodelle. Welche organisatorischen und technischen Gegenmaßnahmen können Unternehmen einsetzen, um Deepfake-Risiken zu reduzieren?
3. Ein Unternehmen möchte Sprachaufnahmen von Kundenberatungsgesprächen automatisch transkribieren und analysieren. Welche datenschutzrechtlichen Schritte (DSGVO) sind vor dem Einsatz eines multimodalen KI-Systems zwingend erforderlich?

Weiterführende Vertiefung: Video-KI und die nächste Multimodal-Welle

Während Text-zu-Bild-KI (DALL·E, Midjourney, Stable Diffusion) bereits gut etabliert ist, steht Video-KI 2025/26 vor einem Qualitätssprung, der für Unternehmen strategisch relevant wird.

Aktuelle Video-KI-Systeme: Sora (OpenAI, seit 2024 kommerziell), Runway Gen-3, Kling (Chinesischer Anbieter, Kuaishou) und Pika sind die führenden Text-zu-Video-Systeme. Diese Systeme können aus einer Textbeschreibung realistische Videos von 10–60 Sekunden generieren. Die Qualität hat in 12 Monaten einen Sprung gemacht, der mit dem Sprung von Stable Diffusion 1.0 zu Midjourney v5 bei Bildern vergleichbar ist.

Relevante Unternehmensanwendungen: Produktdemonstrationsvideos (Generierung aus Produktfotos + Beschreibungstext), Schulungsvideos (automatische Erstellung von Erklärvideos aus Trainingsdokumenten), Prototypen für Marketing-Content (schnelle visuelle Konzeptvalidierung vor professioneller Produktion), Architektur- und Planungsvisualisierungen (3D-Szenen aus Lageplänen und Baubeschreibungen).

Grenzen und Risiken: Aktuelle Video-Modelle haben charakteristische Schwächen: Physikalisch unrealistische Bewegungen (Objekte durchdringen Oberflächen), inkonsistente Charakteristika bei Personen in längeren Videos (Gesichter, Kleidung ändern sich zwischen Szenen), begrenzte Kontrolle über spezifische Details. Für professionelle Produktionsqualität sind diese Systeme noch keine vollständigen Ersatzsysteme — aber für schnelle Prototypen und interne Anwendungen bereits jetzt nutzbar.

Deepfake-Regulierung: Die steigende Qualität von Video-KI verschärft das Deepfake-Problem. Die EU AI Act enthält in Art. 50 explizite Transparenzpflichten für KI-generierte Bild- und Videoinhalte: Systeme, die synthetische Medien erzeugen, müssen die Outputs als KI-generiert kennzeichnen. Für Unternehmen, die Video-KI einsetzen, ist diese Kennzeichnungspflicht eine Compliance-Anforderung, nicht nur eine ethische Empfehlung.

Quellen & Weiterlesen

Trainer-Hinweise

Hinweise für AI Champions — So vermitteln Sie das Thema

Timing (45 Min): - 0–5 Min: Einstieg mit dem multimodalen Szenario (Foto einer Fehlermeldung + Sprachbeschreibung → vollständige Diagnose + Script) - 5–18 Min: Input — fünf Modalitäten durchgehen, je ca. 2–3 Minuten pro Modalität mit einem konkreten Demo-Beispiel - 18–25 Min: Native vs. Pipeline-Erklärung, Input/Output-Matrix erarbeiten (TN füllen Matrix gemeinsam aus) - 25–33 Min: Übung 1 — Bild-Upload und Analyse (Demo in der Gruppe oder allein oder Partnerarbeit) - 33–42 Min: Datenschutz-Sektion + Übung 2 (Modalitäts-Mapping) - 42–45 Min: Zusammenfassung, Überleitung zu UE 9

Methodische Empfehlung: Live-Demos sind in dieser UE besonders wirkungsvoll. Wenn möglich: eigenen Screenshot einer harmlosen Fehlermeldung hochladen und die Analyse live zeigen. Für die Audio-Modalität: kurze Sprachmemo aufnehmen und live transkribieren lassen. Das macht die Möglichkeiten greifbar.

Stolpersteine: - Die Datenschutz-Sektion kann als Bremse wahrgenommen werden. Positionieren Sie sie als professionelles Qualitätsmerkmal: „Wer Datenschutz kennt, ist handlungsfähiger, nicht weniger.” - Die Input/Output-Matrix ist für manche TN abstrakt — bringen Sie für jede Zelle ein konkretes Alltagsbeispiel. - „Code als Modalität” ist für Nicht-Techniker manchmal überraschend. Betonen Sie den Nutzen für alle: Formeln, Scripts, Fehlermeldungen erklären — das ist für jeden relevant.

Diskussionsfragen: - „Welche der fünf Modalitäten hätten Sie vor dieser Einheit nicht als KI-Anwendungsfeld erwartet?” - „In welchem Bereich Ihrer Arbeit würde Bild-Analyse den größten Zeitgewinn bringen?” - „Warum ist Datenschutz bei Bild und Audio strenger zu behandeln als bei Text?”

Tafelbild-Vorschlag: Die fünf Modalitäten als Kreissegmente mit den zugehörigen Datenschutz-Ampeln (Grün/Gelb/Rot) — eine visuelle Übersicht, die TN fotografieren und behalten können.

Differenzierung: - Einsteiger: Fokus auf Text, Bild und Audio — die drei im Alltag relevantesten Modalitäten. Code und Video als Ausblick. - Power-User: Vertiefung der nativen Multimodalität-Architektur, Diskussion von RAG + multimodale Kombination, API-Ansätze für Code-Modalität.

Tipp zur Branchenauswahl: Die Branchen-Anwendungen lassen sich einfach anpassen. Fragen Sie die TN: „In Ihrer Branche — welche Aufgabe würde am meisten profitieren, wenn Sie ein Foto oder eine Aufzeichnung direkt in den KI-Dialog einbringen könnten?” Die Antworten liefern authentische Anwendungsfälle für die Diskussion.

Übergang zur nächsten UE: „Wir haben heute die technischen Möglichkeiten moderner KI-Plattformen kennengelernt. Die nächste Frage ist: Welche der verfügbaren Tools sind für welche Aufgabe am besten geeignet? UE 9 stellt die sechs wichtigsten KI-Assistenten systematisch vor — nicht als Werbeprospekt, sondern als nüchterne Kompetenz-Analyse.”

Multiplikatoren-Hinweise — UE 8

Für Trainer, Führungskräfte und interne Botschafter:

Multimodale KI erweitert die Nutzungsmöglichkeiten erheblich — und erhöht gleichzeitig das Risiko durch synthetische Medien. Als Multiplikator helfen Sie dabei, beide Seiten bewusst zu machen.

Empfehlungen für die Nachbereitung: - Testen Sie gemeinsam mit Ihrem Team ein multimodales Tool (z. B. Bild-Analyse oder Bildgenerierung) live im Meeting — das wirkt mehr als jede Beschreibung. - Diskutieren Sie den Deepfake-Aspekt konkret: „Wie würden wir erkennen, ob ein Foto oder Video in unserem Bereich manipuliert wurde?” - Klären Sie intern: Welche Kommunikationskanäle nutzen wir für kritische Informationen — und würden wir dort einem synthetischen Bild oder Video trauen?

Schlüsselthema für Compliance-Sensitive Bereiche: EU AI Act Art. 50 (Kennzeichnungspflicht für KI-generierte Inhalte) — relevant für Marketing, HR und Kommunikationsabteilungen.

Übung 5 (Transferaufgabe): Multimodale Use Cases in der eigenen Abteilung

Ziel: Konkrete multimodale Anwendungsfälle für den eigenen Berufskontext identifizieren.

Aufgabe: Identifizieren Sie drei potenzielle Anwendungsfälle für multimodale KI in Ihrer Abteilung oder Ihrem Bereich. Nutzen Sie folgende Modali täten als Ausgangspunkt: - Text → Bild (z. B. Visualisierungen, Präsentationsbilder) - Bild → Text (z. B. Dokumentenanalyse, Qualitätskontrolle) - Audio → Text (z. B. Meeting-Transkription, Kundengespräche)

Für jeden Use Case: 1. Was ist die konkrete Aufgabe? 2. Welche Zeit- oder Kostenersparnis wäre realistisch? 3. Welche Risiken (Datenschutz, Qualität, Akzeptanz) bestehen?

Diskussion: Welcher der drei Use Cases hat das höchste Potenzial — und welcher das höchste Risiko?

Kernaussagen — UE 8 auf einen Blick

1. Multimodale KI verarbeitet und erzeugt Inhalte über Textgrenzen hinaus: Bild, Audio, Video, Code, Daten.

2. Bildgenerierung (DALL·E, Midjourney, Stable Diffusion) arbeitet mit Diffusionsmodellen — kein Kopieren, sondern Neuerschaffen aus Rauschen.

3. Audio-KI (Whisper, ElevenLabs) ermöglicht präzise Transkription und realistische Sprachsynthese — mit erheblichen Deepfake-Risiken.

4. Der EU AI Act verpflichtet zur Kennzeichnung KI-generierter Inhalte (Art. 50) — besonders relevant für Marketing und Kommunikation.

5. Multimodalität multipliziert Produktivitätspotenziale — und erfordert gleichzeitig erweiterte Medienkritik-Kompetenz.

Vertiefende Literaturhinweise — UE 8

Zu multimodalen KI-Modellen: - OpenAI GPT-4 Technical Report (2023): Detaillierte Beschreibung der multimodalen Fähigkeiten und Sicherheitstests. Kostenlos unter openai.com. - Radford et al. (2021): „Learning Transferable Visual Models From Natural Language Supervision” (CLIP, arXiv:2103.00020). Das Paper, das Bild-Text-Alignment popularisierte. - Ramesh et al. (2022): „Hierarchical Text-Conditional Image Generation with CLIP Latents” (DALL·E 2, arXiv:2204.06125). Grundlagenpaper zu Text-zu-Bild-Generierung.

Zu Audio und Sprachverarbeitung: - Radford et al. (2022): „Robust Speech Recognition via Large-Scale Weak Supervision” (Whisper, arXiv:2212.04356). Das Whisper-Paper — gut zugänglich, erklärt Grundlagen moderner ASR. - Baevski et al. (2020): „wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations” (arXiv:2006.11477). Einflussreiches Paper zu Sprachverarbeitung.

Zu Deepfakes und synthetischen Medien: - Westerlund (2019): „The Emergence of Deepfake Technology: A Review” — zugängliche Übersicht zu Deepfake-Technologien und gesellschaftlichen Implikationen. - EU AI Act Art. 50: Transparenzpflichten für KI-generierte Inhalte — direkt relevant für Unternehmenseinsatz von Bildgenerierung.

Quelle: KI-Wissensbasis von MindsMachines, Edition Juni 2026. Vollständige Fassung mit Anhängen und Musterlösungen: als PDF anfordern.