Halluzinationen verstehen – Ursachen und Gegenmaßnahmen

Lernziele

• Sie erklären, warum Halluzinationen eine strukturelle Eigenschaft probabilistischer Sprachmodelle sind — kein Programmierfehler, sondern eine systemimmanente Konsequenz des Token-Vorhersagemechanismus.
• Sie identifizieren mindestens fünf Hochrisiko-Situationen, in denen Halluzinationen besonders wahrscheinlich auftreten und besonders gravierende Folgen haben können.
• Sie wenden mindestens drei konkrete Prompt-Techniken zur Reduktion von Halluzinationen an und erläutern die Wirkungsweise jeder Technik.
• Sie erläutern das Prinzip von Retrieval Augmented Generation (RAG) als systemische Architekturantwort auf das Halluzinationsproblem.
• Sie leiten aus Art. 26 EU AI Act die Verifizierungspflicht für KI-Outputs in entscheidungsrelevanten Kontexten ab und beschreiben ein zweistufiges Verifikationsprotokoll.

Auf einen Blick

Worum geht es? — Der didaktische Einstieg

Im März 2023 wurde der New Yorker Anwalt Steven Schwartz von einem Bundesrichter zur Rechenschaft gezogen, weil er Gerichtsdokumente eingereicht hatte, in denen sechs Gerichtsurteile zitiert wurden, die niemals existiert haben. Sie waren vollständig von ChatGPT erfunden worden — inklusive überzeugend klingender Fallnummern, Richternamen und Urteilszusammenfassungen. Schwartz hatte die Existenz dieser Urteile nicht überprüft.

Dieser Fall ist kein Extrembeispiel eines naiven Nutzers. Schwartz war ein erfahrener Anwalt. Der Fall ist ein Lehrstück über das fundamentalste Risiko beim Einsatz von Sprachmodellen: die Halluzination — die Erzeugung von inhaltlich falschem, aber sprachlich überzeugendem Text. Das Gericht bemerkte die Fälschungen; Schwartz wurde mit einer Geldstrafe belegt und vor einem Bundesgericht gerügt (The Guardian, 2023).

Das Verständnis von Halluzinationen ist im Kontext des EU AI Act nicht nur für Anwälte relevant. Art. 26 EU AI Act legt Deployer-Pflichten zur Überwachung von KI-Systemen fest. „Überwachung” bedeutet in der Praxis: KI-Outputs in entscheidungsrelevanten Kontexten systematisch zu prüfen. Wer das nicht tut, handelt nicht nur unprofessionell — er verletzt regulatorische Anforderungen. Diese Unterrichtseinheit vermittelt das Werkzeug, um das zu vermeiden.

Lerntext — Theorie und Konzepte

Was ist eine Halluzination — und warum ist sie strukturell?

Der Begriff „Halluzination” im KI-Kontext beschreibt die Erzeugung von Inhalten, die faktisch falsch, erfunden oder irreführend sind — präsentiert mit derselben sprachlichen Konfidenz wie korrekte Informationen.

Das entscheidende Verständnis: Eine Halluzination ist kein Bug im Programmierfehler-Sinne. Sie ist eine direkte Konsequenz davon, wie LLMs funktionieren. Erinnern Sie sich an UE 4: Ein LLM berechnet bei jedem Schritt die Wahrscheinlichkeitsverteilung über mögliche nächste Tokens — und wählt dann einen aus. Es gibt keinen internen Mechanismus, der bei der Ausgabe eines Tokens prüft: „Ist diese Information faktisch korrekt?” Das Modell „weiß” nicht, was es weiß. Es kennt keine Grenzen seines eigenen Wissens.

Ein Modell, das gebeten wird, eine Referenz auf eine wissenschaftliche Studie zu geben, wird das nächste wahrscheinliche Token generieren: einen Autorennamen, ein Jahr, einen Titel, eine Zeitschrift. All das kann plausibel sein — weil solche Muster in den Trainingsdaten vorhanden waren — ohne dass die spezifische Kombination jemals existiert hat.

Vier Ursachen für Halluzinationen:

1. Keine interne Faktenprüfung: Das Modell unterscheidet nicht zwischen Mustern, die auf echten Fakten basieren, und solchen, die statistisch plausibel aber faktisch falsch sind.
2. Seltene oder spezifische Informationen: Bei Themen mit wenigen Trainingsdaten (spezifische Personen, lokale Ereignisse, sehr neue oder sehr nischige Informationen) ist die Wahrscheinlichkeit von Halluzinationen deutlich höher.
3. Konstruktiver Charakter der Ausgabe: LLMs sind darauf trainiert, Texte zu vervollständigen — auch wenn das „Vervollständigen” bedeutet, Details zu erfinden, die ein kohärentes Dokument erfordern.
4. Hohe Temperature-Einstellungen: Bei kreativen Aufgaben mit höherer Temperature sampelt das Modell aus einem breiteren Wahrscheinlichkeitsspektrum — was Kreativität erhöht, aber auch die Fehlerquote steigert.

Abb. 7.1 — Halluzinations-Ursachenpfad und Gegenmaßnahmen

Merksatz

Eine Halluzination ist kein Fehler des Modells im traditionellen Sinne — sie ist die logische Konsequenz eines Systems, das Text statistisch plausibel vervollständigt, ohne Zugang zu einem internen Faktencheck zu haben. Wer das versteht, hört auf, das Modell für Halluzinationen zu „beschuldigen” — und beginnt stattdessen, den eigenen Verifikationsprozess zu professionalisieren.

Hochrisiko-Situationen — Wo Halluzinationen besonders gefährlich sind

Nicht jede Halluzination hat dieselben Konsequenzen. Eine falsche Metapher in einem Kreativtext ist harmlos. Eine falsche Umsatzzahl in einem Kundenbericht ist ein Reputationsrisiko. Eine falsch zitierte Gesetzesnorm in einem Compliance-Dokument kann rechtliche Konsequenzen haben.

Quellenangaben und Zitate: Das sind die häufigsten und gefährlichsten Halluzinationen. Bücher, die es nie gab. Studien mit korrektem Autorennamen aber falschem Jahr und falschen Ergebnissen. Gerichtsurteile mit plausiblen Fallnummern, die nie existiert haben. Gegenstrategie: Jede Quellenangabe aus einem LLM ist als unverifiziert zu behandeln und separat nachzuschlagen.

Spezifische Zahlen: Marktgrößen, Umsatzzahlen, Einwohnerzahlen, Prozentwerte, historische Daten — das Modell generiert statistisch plausibel klingende Zahlen, die nichts mit der Realität zu tun haben müssen. Gegenstrategie: Zahlen immer aus Primärquellen beziehen (Statista, Bitkom, Destatis, offizielle Geschäftsberichte).

Rechtliche Details: Paragraphennummern, Gerichtsentscheidungen, Fristen, Verordnungsartikel — das Modell kennt Gesetzestexte aus dem Training, aber die genaue Formulierung kann abweichen, veraltet oder erfunden sein. Gegenstrategie: Originaltext auf EUR-Lex, dejure.org oder offiziellen Gesetzesdatenbanken nachschlagen.

Interne Unternehmensdaten: Daten, die nie in den Trainingsdaten waren — Projektnummern, interne Ansprechpartner, vertragliche Details des eigenen Unternehmens — werden vom Modell entweder abgelehnt oder, schlimmer, durch plausibel klingende Erfindungen ersetzt. Gegenstrategie: Interne Daten immer explizit im Kontext bereitstellen (Grounding) und nie vom Modell erfragen lassen.

Sehr neue Informationen: Produkte, Gesetze, Ereignisse nach dem Trainings-Cutoff sind dem Modell unbekannt. Es wird entweder korrekt ablehnen oder Älteres als aktuell ausgeben. Gegenstrategie: Modelle mit Websuche (Perplexity, ChatGPT mit Search, Gemini) für aktuelle Informationen nutzen.

Gegenmaßnahmen — Prompt-Techniken zur Halluzinationsreduktion

Prompt-Technik 1 — Konfidenzlevel abfragen: Instruieren Sie das Modell, bei jeder Antwort das eigene Konfidenz-Level zu markieren:

„Beantworte die folgende Frage und markiere jede Aussage als [SICHER], [WAHRSCHEINLICH] oder [PRÜFEN]. Sei konservativ bei der Vergabe von [SICHER] — nur wenn du eine sehr hohe Konfidenz hast.”

Das Modell kalibriert diese Einschätzung nicht immer korrekt, aber die Technik erzwingt eine Art Meta-Reflexion und macht Unsicherheiten sichtbarer als ohne Instruktion.

Prompt-Technik 2 — Widerspruchstest: Stellen Sie dieselbe Frage in zwei verschiedenen Formulierungen in derselben Sitzung — widerspricht das Modell sich selbst, ist das ein Indikator für Unsicherheit und damit ein Warnsignal für besondere Sorgfalt.

Prompt-Technik 3 — Grounding durch Kontext: Übergeben Sie das relevante Quelldokument selbst als Kontext und instruieren Sie: „Beantworte die Frage ausschließlich auf Basis des folgenden Dokuments. Wenn die Antwort nicht im Dokument enthalten ist, sage das explizit.” Das Modell halluziniert nun deutlich weniger, weil es an den bereitgestellten Text gebunden ist.

Prompt-Technik 4 — Quellenverifizierung einfordern: „Nenne mir die konkreten Quellen mit vollständigem Autor, Erscheinungsjahr, Zeitschrift und Titel. Ich werde alle Quellen überprüfen.” Wenn das Modell konkrete Quellen nicht nennen kann oder zögert, ist das ein Warnsignal.

Prompt-Technik 5 — Chain-of-Thought: Modelle, die vor der Antwort ihre Denkschritte explizieren müssen, produzieren bei komplexen Fragen tendenziell weniger Halluzinationen. Der Prompt „Erkläre Schritt für Schritt, wie du zu dieser Antwort kommst” veranlasst das Modell zu transparenterer Nachvollziehbarkeit.

Merksatz

Keine Prompt-Technik eliminiert Halluzinationen vollständig. Sie reduzieren die Wahrscheinlichkeit und erhöhen die Sichtbarkeit von Unsicherheit. Der unverzichtbare zweite Schritt bleibt immer die menschliche Verifikation mit Primärquellen — besonders bei Zahlen, Rechtsangaben und Quellenverweisen.

Vertiefung — RAG, Grounding und systemische Halluzinationsreduktion

Über individuelle Prompt-Techniken hinaus gibt es systemische Architekturen, die Halluzinationen strukturell reduzieren. Diese sind besonders für den Unternehmenseinsatz relevant.

Retrieval Augmented Generation (RAG): RAG ist heute die wichtigste Enterprise-Lösung gegen Halluzinationen. Statt das Modell aus seinem Trainingswissen antworten zu lassen, wird vor der Antwortgenerierung eine Suche in verifizierten Dokumenten durchgeführt. Ein Vektorindex der eigenen Dokumente — Unternehmensdokumentation, Wissensdatenbank, Richtlinien, Produktinformationen — wird aufgebaut. Bei jeder Anfrage werden automatisch die relevantesten Textpassagen aus diesem Index abgerufen und dem Modell als Kontext übergeben. Das Modell antwortet dann ausschließlich auf Basis dieser verifizierten Dokumente — und kann dabei sogar die Quellpassagen zitieren. Das Halluzinationsrisiko ist deutlich reduziert, da das Modell nicht aus dem Training spekulieren muss.

RAG ist heute in vielen Enterprise-Produkten verfügbar: Microsoft Copilot for M365 mit SharePoint-Anbindung, Google Gemini mit Drive-Integration, Claude Projects mit Dokumenten-Upload, oder individuelle RAG-Implementierungen über LangChain, LlamaIndex oder Azure AI Search.

Grounding durch Quelldokument: Der einfachere Ansatz ohne RAG-Infrastruktur: Das Quelldokument selbst wird als Kontext übergeben. Statt „Was steht in der DSGVO zu Auftragsverarbeitung?” lautet der Prompt: „Hier ist der Volltext von Art. 28 DSGVO. Beantworte meine Frage ausschließlich auf Basis dieses Textes, ohne externes Wissen.” Das Modell kann dann nicht über den Dokumentinhalt hinaus halluzinieren — es kann nur noch den Inhalt des bereitgestellten Dokuments falsch interpretieren.

Selbstkonsistenz-Prüfung: Dieselbe Frage mehrfach oder leicht variiert stellen und die Antworten vergleichen. Widersprüche zwischen Antworten sind ein starkes Signal für Unsicherheit des Modells — und damit ein Hinweis, diese Angabe besonders sorgfältig zu prüfen.

Zweistufiges Verifikationsmodell für die Praxis:

Stufe 1 (für alle KI-Outputs): Plausibilitätsprüfung durch den Nutzer. Ist die Aussage logisch konsistent? Widerspricht sie bekanntem Wissen? Klingt eine Zahl plausibel im Vergleich zum Markt? Diese Prüfung dauert 30 bis 60 Sekunden und fängt grobe Fehler ab.

Stufe 2 (für entscheidungsrelevante Outputs): Quellenprüfung mit Primärquellen. Zahlen aus Statista, Bitkom, IAB, OECD, offiziellen Geschäftsberichten; Rechtsnormen aus EUR-Lex oder dejure.org; technische Spezifikationen aus offiziellen Hersteller-Dokumentationen. Diese Prüfung dauert drei bis zehn Minuten, ist aber bei Kundenkommunikation, Verträgen oder Compliance-Dokumenten zwingend.

Das Verhältnis: Etwa 80 Prozent der KI-Outputs können nach Stufe-1-Prüfung verwendet werden. Etwa 20 Prozent erfordern Stufe-2-Verifikation — aber genau diese 20 Prozent sind die kritischen Stellen, an denen Halluzinationen am meisten Schaden anrichten können.

Der EU AI Act und Halluzinations-Compliance

Der EU AI Act stellt in Art. 26 explizit klar: Deployer — Unternehmen, die KI-Systeme einsetzen — haben Überwachungspflichten. Sie müssen sicherstellen, dass Ausgaben von KI-Systemen auf ihre Richtigkeit und Eignung für den konkreten Verwendungszweck überprüft werden. Die Intensität der Prüfung richtet sich nach dem Risikograd:

• Einfache, risikoarme Anwendungen (Textformatierung, Ideengeneration) → stichprobenartige Prüfung
• Entscheidungsrelevante Ausgaben (Vertragsanalysen, Kundenberichte mit Zahlenangaben) → systematische menschliche Kontrolle
• Hochrisiko-Anwendungen gemäß Anhang III EU AI Act (Personalentscheidungen, Kreditvergabe, kritische Infrastruktur) → vollständige Prüfung jeder relevanten Ausgabe

Das zweistufige Verifikationsmodell, das in dieser UE eingeführt wird, ist nicht nur Best Practice — es ist der operative Umsetzungsweg der Deployer-Pflichten nach Art. 26 EU AI Act.

Vertiefung II — Multimodale Modelle: VLMs, CLIP und GPT-4V im technischen Überblick

Die Fähigkeit, verschiedene Modalitäten — Text, Bild, Audio, Video — gemeinsam zu verarbeiten, ist einer der bedeutendsten Qualitätssprünge in der KI-Entwicklung der jüngsten Jahre. Multimodale Modelle sind nicht einfach eine Kombination von Text- und Bildmodellen; sie erfordern fundamental neue Architekturen, die verschiedene Datentypen in einen gemeinsamen Repräsentationsraum überführen.

Das Grundproblem: Inkompatible Modalitäten

Text wird von Sprachmodellen als Sequenz von Token-Embeddings verarbeitet — Vektoren in einem hochdimensionalen Raum. Bilder bestehen aus Pixelmatrizen mit drei Farbkanälen. Audio ist eine Wellenform, die als Spektrogramm repräsentiert werden kann. Video ist eine Folge von Einzelbildern mit zeitlicher Dimension. Diese Modalitäten sind in ihrer rohen Form inkompatibel — man kann nicht einfach ein Bild-Pixel in einen Text-Tokenizer einspeisen.

Die Lösung: Multimodale Modelle verwenden modalitätsspezifische Encoder, die jede Eingabeform in denselben gemeinsamen Vektorraum (Cross-Modal Embedding Space) überführen. Erst wenn Text und Bild im gleichen Vektorraum repräsentiert sind, können sprachliche und visuelle Konzepte sinnvoll verbunden werden.

CLIP: Contrastive Language-Image Pre-Training

CLIP (Contrastive Language-Image Pre-Training) wurde 2021 von OpenAI veröffentlicht und gilt als Wegbereiter der modernen multimodalen KI. Das Grundprinzip ist eleganter als erwartet: CLIP trainiert gleichzeitig zwei Encoder — einen für Text und einen für Bilder — mit dem Ziel, semantisch zugehörige Text-Bild-Paare im Vektorraum nahe beieinander zu platzieren und nicht zugehörige Paare weit voneinander zu entfernen. Das Trainingskorpus bestand aus 400 Millionen Text-Bild-Paaren aus dem Internet.

Merksatz

CLIP zeigt, dass die gemeinsame Repräsentation von Text und Bild in einem einzigen Vektorraum ohne aufgabenspezifisches Training erstaunliche Zero-Shot-Fähigkeiten erzeugt: Das Modell kann Bilder klassifizieren, ohne je auf diese Kategorien trainiert worden zu sein — indem es einfach die Ähnlichkeit des Bildes zu Textbeschreibungen berechnet.

Die Fähigkeit, beliebige Kategorien durch Textbeschreibungen zu definieren und Bilder nach ihrer Ähnlichkeit zu diesen Beschreibungen zu sortieren, wird als Zero-Shot Classification bezeichnet — eine der beeindruckendsten emergenten Eigenschaften des CLIP-Ansatzes.

GPT-4V und die multimodale Chat-Erfahrung

GPT-4V (Vision), veröffentlicht Oktober 2023, und das nachfolgende GPT-4o (mai 2024) sind die ersten weit verfügbaren multimodalen LLMs, die Bilder direkt in einen Text-Chat-Kontext integrieren können. Die Architektur von GPT-4V ist nicht vollständig öffentlich dokumentiert, aber das Grundprinzip ist bekannt: Bilder werden durch einen Vision Encoder (vermutlich CLIP-verwandt) in Embedding-Vektoren konvertiert, die dann dem Transformer-Decoder als zusätzliche Kontext-Tokens zur Verfügung stehen.

Das ermöglicht Aufgaben wie: Diagramme und Grafiken analysieren, handgeschriebene Notizen lesen, Fotos beschreiben und inhaltlich bewerten, Code-Fehler aus Screenshots identifizieren, mathematische Gleichungen aus Fotos extrahieren und lösen.

Vision Language Models (VLMs) im Unternehmenseinsatz

VLMs (Vision Language Models) ist der Oberbegriff für Modelle, die Bilder und Text gemeinsam verarbeiten. Neben GPT-4V/GPT-4o sind Claude 3.5 Sonnet (Anthropic), Gemini 2.5 Pro (Google) und Llama 3.2 Vision (Meta, Open Source) die wichtigsten VLMs für Unternehmensanwendungen.

Typische Unternehmensanwendungen von VLMs: - Automatische Rechnungserfassung: Bilder von Papierrechnungen → strukturierte Datensätze (Name, Betrag, Datum, MwSt). - Qualitätssicherung in der Fertigung: Kamerabilder von Produkten → strukturierte Fehlerberichte. - Dokumentendigitalisierung: Scans von handgeschriebenen Formularen → digitale Textdaten. - Visuelle Inspektion von Infrastruktur: Drohnen- oder Satellitenbilder → automatisierte Schadensberichte.

Ein wichtiges praktisches Limit: VLMs sind heute stark in der Beschreibung und Analyse von Bildinhalten, aber schwächer in der präzisen Erkennung kleiner Details in hochauflösenden technischen Zeichnungen, in der räumlichen Geometrie (3D-Tiefe aus 2D-Bildern) und bei spezialistischen visuellen Domänen mit geringer Trainingsdaten-Abdeckung.

Grenzen aktueller VLMs und Forschungsausblick

So beeindruckend die Fähigkeiten aktueller Vision Language Models sind, haben sie spezifische Schwächen, die für den Praxiseinsatz bekannt sein müssen.

Erstens zeigen VLMs bei technischen Zeichnungen und Diagrammen mit präzisen Maßangaben systematische Schwächen. Ein Modell kann beschreiben, dass ein Diagramm einen Balken zeigt — aber ob der Balken genau 23,7 cm oder 24,1 cm hoch ist, kann es meist nicht zuverlässig aus einem Bild ablesen. Das liegt daran, dass Pixelmatrizen keine präzisen metrischen Informationen in strukturierter Form enthalten; das Modell interpoliert visuell, was Menschen für Messungen explizit berechnen würden.

Zweitens sind aktuelle VLMs in räumlichem Denken und 3D-Tiefenwahrnehmung aus 2D-Bildern schwächer als Menschen. Ein erfahrener Techniker erkennt aus einem einzigen Foto eines Maschinenteils dessen dreidimensionale Geometrie, weil er auf jahrelange Erfahrung mit physischen Objekten zurückgreifen kann. VLMs fehlt dieses körperliche Fundament (Embodiment), was bei der Analyse von Produktionsfotos oder Baustellenaufnahmen zu Fehlern führen kann.

Drittens sind VLMs bei sehr langen Video-Sequenzen eingeschränkt. Während GPT-4o kurze Videos (wenige Minuten) verarbeiten kann, sind stundenlange Videoanalysen technisch und kostenseitig noch nicht praktikabel. Für die Analyse von Sicherheitskameras, langen Produktionsprozess-Aufnahmen oder mehrstündigen Meetingaufzeichnungen sind spezialisierte Systeme (oft mit Frame-Sampling und anschließender Zusammenfassung) praktikabler.

Aktuelle Entwicklungen: Echtzeit-Multimodalität

Mit GPT-4o (released Mai 2024) und Claude 3.5 Sonnet (June 2024) wurde Echtzeit-Multimodalität — also die gleichzeitige Verarbeitung von Video und Audio in Echtzeit — erstmals in Konsumenten-Produkten verfügbar. Das ermöglicht Anwendungen wie Echtzeit-Bildinterpretation (z. B. „Was sehe ich auf meinem Bildschirm?“), Live-Übersetzung mit Sprache, multimodale Sprachassistenten für Handwerksbetriebe (Foto eines Problems → gesprochene Anleitung). Diese Entwicklung verschiebt die Grenze zwischen KI-Werkzeug und KI-Assistent weiter in Richtung Assistent.

Für Unternehmen bedeutet das: Multimodalität ist kein experimentelles Feature mehr, sondern eine stabile, skalierbare Fähigkeit moderner Spitzensysteme. Die strategische Frage ist, welche multimodalen Anwendungsfälle in der eigenen Organisation den größten Mehrwert bieten — und wie die Datenschutz-Anforderungen für Bilder und Videos berücksichtigt werden (Bilder können personenbezogene Daten enthalten: Gesichter, Kfz-Kennzeichen, Schriftverkehr).

Praxisvertiefung: Retrieval-Augmented Generation als Halluzinations-Mitigationsstrategie

Retrieval-Augmented Generation (RAG) ist derzeit die wichtigste praktische Strategie zur Reduktion von Halluzinationen in Unternehmensanwendungen. Das Konzept kombiniert die Sprachkompetenz von LLMs mit der Zuverlässigkeit strukturierter Wissensdatenbanken.

Der RAG-Mechanismus: Statt dem LLM eine freie Frage zu stellen (was Halluzinationen begünstigt), wird der Prozess in zwei Phasen unterteilt. Phase 1 (Retrieval): Eine semantische Suche findet aus einer Wissensdatenbank die relevantesten Textpassagen zur Anfrage. Phase 2 (Generation): Das LLM bekommt die gefundenen Passagen als Kontext und formuliert eine Antwort — ausschließlich auf Basis des bereitgestellten Materials.

Warum RAG Halluzinationen reduziert: Das LLM muss nicht aus dem Gedächtnis antworten, sondern kann auf konkrete, bereitgestellte Quelltexte zurückgreifen. Wenn die Antwort im Quellentext nicht steht, kann das Modell trainiert werden, das transparent zu machen: „Dazu liegen mir keine Informationen in den bereitgestellten Dokumenten vor.”

Grenzen von RAG: RAG löst Halluzinationen nicht vollständig. Das LLM kann Quelltexte fehlinterpretieren oder inkonsistente Aussagen aus verschiedenen Quellen kombinieren. Die Qualität des Retrievals bestimmt die Qualität der Ausgabe — wenn die falschen Dokumente geladen werden, kann das LLM nur auf Basis dieser fehlerhaften Grundlage arbeiten. Regelmäßige Qualitätsprüfung des Retrievals ist daher genauso wichtig wie die Prüfung der LLM-Ausgaben.

Achtung

RAG-Systeme reduzieren Halluzinationen signifikant — eliminieren sie aber nicht. Eine ausschließliche Vertrauensstrategie „RAG macht alles sicher” ist falsch. Kritische Fakten müssen auch in RAG-Systemen menschlich verifiziert werden, insbesondere bei rechtlichen, medizinischen oder sicherheitsrelevanten Informationen.

Branchen-Anwendungen

IT-Dienstleistung & Beratung

Ein IT-Berater bereitet einen Kundenbericht vor und bittet KI, aktuelle Marktgrößen des deutschen IT-Dienstleistungsmarkts einzufügen. Die KI liefert eine plausibel klingende Zahl — 118 Mrd. Euro Marktvolumen 2024 — mit einer Quellenangabe auf einen Bitkom-Report. Der Berater übernimmt die Zahl und schickt den Bericht zum Kunden. Der Kunde weist darauf hin, dass die Zahl nicht mit dem aktuellen Bitkom-Bericht übereinstimmt und die genannte Studie in dieser Form nicht existiert.

Konsequenz: Korrektur, Entschuldigung, Vertrauensverlust — alles vermeidbar. Die Praxis-Regel: Alle Zahlen, Studienverweise und Rechtsangaben aus KI-Outputs sind als Entwurf zu behandeln. Für einen Kundenbericht gilt: Zahlen aus Primärquellen (Bitkom.org, Statista, Destatis, offizielle Geschäftsberichte) — keine KI-generierten Statistiken ohne Verifikation.

Ein zweites Szenario bei der Angebotserstellung: KI setzt ein Angebot für ein IT-Migrationsprojekt auf und berechnet eine Projektlaufzeit von 80 Tagen und einen Personalaufwand von 120 Stunden — Zahlen, die auf nichts basieren, da das Modell keinerlei Projektkalkulation als Input hatte. Wenn der Berater diese Zahlen nicht prüft und das Angebot absendet, entstehen vertragliche Verpflichtungen aus einer Halluzination.

Industrie & Fertigung

In einem Maschinenbauunternehmen fragt ein Techniker die KI nach der aktuellen API-Spezifikation für ein Steuerungssystem eines bestimmten Herstellers. Das Modell liefert eine plausible, detaillierte Schnittstellenbeschreibung — aber die tatsächliche API des Herstellers wurde seit dem Trainings-Cutoff des Modells grundlegend überarbeitet. Der Techniker implementiert ohne Prüfung der offiziellen Herstellerdokumentation und erhält Laufzeitfehler, die erst nach stundenlanger Fehlersuche auf die veraltete API-Beschreibung zurückgeführt werden.

Die Regel für technische Spezifikationen in der Fertigung: Immer aus der offiziellen Herstellerdokumentation (aktuelle Version) beziehen — nie aus KI-Outputs. KI kann helfen, die Dokumentation zu verstehen und zu erklären; die Spezifikation selbst kommt aus der Primärquelle.

Finanzdienstleistung & Versicherung

Ein Compliance-Beauftragter einer Bank fragt KI nach den aktuellen Meldepflichten nach dem Geldwäschegesetz (GwG) und übernimmt die genannten Schwellenwerte und Fristen in ein internes Compliance-Handbuch. Das Modell hat korrekte Grundstrukturen geliefert — aber einen Schwellenwert leicht falsch und eine Frist nach einer Gesetzesänderung veraltet wiedergegeben.

Das interne Handbuch enthält damit einen sachlichen Fehler in einem regulatorisch kritischen Dokument. Konsequenz: Mögliche Compliance-Verstöße durch Mitarbeitende, die sich auf das Handbuch verlassen. Die Lektion: Rechtsnormen und regulatorische Details immer aus Primärquellen (offizieller Gesetzestext auf gesetze-im-internet.de, EUR-Lex, BaFin-Rundschreiben) übernehmen — nie aus KI-Paraphrasen.

Öffentliche Verwaltung

Ein Sachbearbeiter in einer Kommunalbehörde nutzt KI, um Bürgeranfragen zu Sozialleistungen vorläufig zu beantworten. In einer konkreten Anfrage zu Anspruchsvoraussetzungen für eine bestimmte Förderleistung liefert die KI eine plausible Antwort — aber mit einem veralteten Einkommensschwellenwert, der durch eine Indexanpassung im Vorjahr verändert worden war.

Wenn der Sachbearbeiter die KI-Antwort ungeprüft an den Bürger sendet, erhält dieser falsche Auskunft über seinen Anspruch. Das kann zu Fehlanträgen, Enttäuschungen und rechtlichen Komplikationen führen. In der öffentlichen Verwaltung gilt: KI kann Entwürfe und Strukturhilfen liefern; jede Aussage zu konkreten Rechtsansprüchen, Fristen und Beträgen muss aus aktuellen Rechtsgrundlagen (Verwaltungsvorschriften, aktuelle Gesetzestexte) verifiziert werden, bevor sie an Bürger kommuniziert wird.

Übung 1 — Live-Halluzination: Provozieren und dokumentieren

Übung 1

Aufgabe: Sie provozieren gezielt eine Halluzination in einem LLM und dokumentieren Methode, Ausgabe und Lerneffekt systematisch.

Material: Laptop mit Internetzugang, Zugang zu ChatGPT oder Claude, Protokollierungsblatt.

Schritt-für-Schritt: 1. Stellen Sie Anfrage A: „Nenne mir drei aktuelle Studien (mit Autor, Jahr, Titel, Verlag) zur Auswirkung von generativer KI auf den deutschen Arbeitsmarkt.” 2. Notieren Sie die drei genannten Studien vollständig. 3. Versuchen Sie, jede Studie zu verifizieren: Google-Suche, Google Scholar, ResearchGate. 4. Dokumentieren Sie: Welche Studien existieren, welche sind erfunden oder enthalten Fehler? 5. Stellen Sie dieselbe Anfrage erneut mit der Konfidenz-Instruktion: „Nenne mir Studien und markiere jede als [SICHER], [WAHRSCHEINLICH] oder [PRÜFEN]. Bei Unsicherheit sage explizit, dass du keine zuverlässige Quelle hast.” 6. Vergleichen Sie die Outputs beider Anfragen — wo hat die Instruktion das Verhalten verändert?

Musterlösung:

Typisches Halluzinationsmuster: Das Modell nennt reale Autoren (z. B. von IAB oder OECD) mit erfundenen Titeln oder falschen Jahren. Oder es kombiniert reale Zeitschriften mit erfundenen Studientiteln. Die sprachliche Formulierung klingt vollständig überzeugend.

Nach Konfidenz-Instruktion: Das Modell markiert typischerweise Unsicherheiten deutlicher — oft mit Formulierungen wie „Ich bin nicht sicher, ob diese Studie genau so veröffentlicht wurde” oder vergibt [PRÜFEN] für spezifische Literaturangaben.

Lerneffekt: Eine einfache Instruktionsänderung verändert das Verhalten des Modells substanziell — das Modell ist in der Lage, Unsicherheit zu kommunizieren, wenn man es explizit dazu auffordert. Das zeigt: Halluzinationsmanagement beginnt mit dem Prompt.

Übung 2 — Verifikationsprotokoll entwickeln

Übung 2

Aufgabe: Sie überprüfen vier konkrete KI-Outputs auf Halluzinationen und entwickeln dabei ein persönliches Verifikationsprotokoll für den Arbeitsalltag.

Schritt-für-Schritt: 1. Stellen Sie dem Chatbot vier Fragen aus Ihrem Fachgebiet — fordern Sie jeweils konkrete Zahlen, Quellenangaben oder spezifische Details. 2. Überprüfen Sie jede Aussage mit Primärquellen (Statista, EUR-Lex, offizielle Geschäftsberichte, Hersteller-Docs). 3. Notieren Sie: Was war korrekt? Was war falsch? Was war nicht überprüfbar? 4. Leiten Sie daraus Ihr persönliches Verifikationsprotokoll ab.

Musterlösung — Beispiel-Protokoll:

Cheatsheet

Erweiterte Übung 3 — Multimodale Use-Case-Skizze

Übung 3 — Multimodale Use-Case-Konzeption

Aufgabe: Sie konzipieren für eine konkrete Organisation einen vollständigen multimodalen KI-Anwendungsfall: von der Aufgabenbeschreibung über die Datenquellen und Systemarchitektur bis hin zur Risikobewertung. Dieses Transfer-Szenario verknüpft technisches Verständnis von VLMs mit strategischer Implementierungsplanung.

Material: Wählen Sie eine der folgenden drei Organisationstypen und das zugehörige Ausgangsszenario: - Option A: Logistikunternehmen, das eingehende Lieferscheine und Frachtdokumente (Scan, Foto, PDF) erfassen und verarbeiten möchte. - Option B: Bauunternehmen, das Baufortschrittsfotos von Baustellen automatisiert mit Projektplänen abgleichen möchte. - Option C: Einzelhandel, der Regalbilder aus Filialen automatisiert auf Bestandslücken und Planogramm-Abweichungen prüfen möchte.

Schritt-für-Schritt:

1. Aufgabendefinition: Beschreiben Sie den Anwendungsfall in drei Sätzen: Was sind die Eingaben, was sind die Ausgaben, und welcher Mehrwert wird erzeugt?
2. Datenquellen und Datentypen: Identifizieren Sie alle Datenmodalitäten, die in Ihrem Anwendungsfall eine Rolle spielen. Unterscheiden Sie zwischen strukturierten Daten (Datenbank), unstrukturierten Text-Daten und visuellen Daten.
3. Systemarchitektur skizzieren: Zeichnen Sie einen einfachen Datenfluss-Diagramm mit den Bausteinen: Datenquelle → Vorverarbeitung → Multimodales Modell → Nachverarbeitung → Ausgabe. Welches VLM würden Sie einsetzen und warum?
4. Prompt-Gestaltung: Formulieren Sie einen konkreten Beispiel-Prompt, den das System an das VLM schicken würde (inkl. Angabe, dass ein Bild mitgeliefert wird). Was müsste der Prompt enthalten, damit die Ausgabe zuverlässig strukturiert ist?
5. Risikobewertung: Identifizieren Sie drei Risiken dieses multimodalen Anwendungsfalls:

• Ein datenschutzrechtliches Risiko (Was ist auf den Bildern sichtbar?)
• Ein Qualitätsrisiko (Wann versagt das Modell?)
• Ein Haftungsrisiko (Was passiert, wenn das Modell falsch liegt?)

1. EU AI Act Einordnung: Handelt es sich um ein Hochrisiko-System nach EU AI Act? Begründen Sie Ihre Einschätzung mit Verweis auf die relevanten Anhänge.

Erwartetes Ergebnis: Vollständige Use-Case-Konzeption mit Aufgabendefinition, Architektur-Skizze, Beispiel-Prompt, Risikobewertung (3 Risiken) und EU AI Act-Einordnung.

Musterlösung (Option A: Logistikunternehmen — Lieferschein-Erfassung):

1. Aufgabendefinition: Das System erhält Fotos oder Scans von Lieferscheinen (Papierdokumente, handschriftlich oder gedruckt) und extrahiert strukturierte Daten: Absender, Empfänger, Artikel-Nummern, Mengen und Lieferdatum. Die Ausgabe wird direkt in das Warenwirtschaftssystem übernommen. Der Mehrwert: Entfall der manuellen Dateneingabe (ca. 3–5 Minuten pro Lieferschein), Fehlerreduktion und Echtzeitverfügbarkeit der Wareneingangs-Daten.

2. Datenmodalitäten: Visuelle Daten (Foto/Scan des Lieferscheins), strukturierte Referenzdaten (Lieferantenstamm, Artikelnummern aus ERP), strukturierte Ausgabedaten (Felder für das WMS).

3. Systemarchitektur: Eingang (Smartphone-Kamera oder Scanner) → Bildvorverarbeitung (Auflösung, Rotation, Kontrast) → GPT-4o/Claude 3.5 Vision (OCR + Strukturextraktion via Prompt) → JSON-Output → API-Integration in ERP/WMS → Manuelle Freigabe bei Unsicherheit (Confidence-Score < Schwellenwert).

4. Beispiel-Prompt: „Analysiere den beigefügten Lieferschein und extrahiere die folgenden Felder im JSON-Format: - lieferant_name: string - lieferant_kundennummer: string - lieferdatum: string (Format: YYYY-MM-DD) - positionen: array von {artikel_nr, bezeichnung, menge, einheit} - gesamtgewicht: string (falls vorhanden) Falls ein Feld nicht eindeutig lesbar ist, setze den Wert auf null und ergänze eine kurze Begründung im Feld ‚unsicherheiten’.”

5. Risikobewertung: - Datenschutzrisiko: Lieferscheine können personenbezogene Daten enthalten (Empfänger-Privatadresse, Mitarbeiternamen). Wenn das VLM über eine externe API aufgerufen wird, verlassen personenbezogene Daten das Unternehmen — DSGVO Art. 28 (Auftragsverarbeitungsvertrag) zwingend. - Qualitätsrisiko: Handschriftliche, schwer lesbare oder stark beschädigte Lieferscheine werden falsch erkannt. Kritisch bei Positionsmengen (Fehllieferung nicht erkannt). Lösung: Confidence-Score-Schwellenwert mit manueller Prüfung bei Unsicherheit. - Haftungsrisiko: Wenn das System eine falsche Menge einträgt und die Ware ohne manuelle Prüfung weiterverarbeitet wird, entsteht ein wirtschaftlicher Schaden. Haftungsfrage: Liegt die Verantwortung beim KI-Anbieter oder beim Unternehmen? Antwort: Beim Unternehmen (Deployer-Verantwortung nach EU AI Act Art. 25).

6. EU AI Act: Kein Hochrisiko-System. Logistik-Dokumentenerfassung ist nicht in den Hochrisiko-Kategorien des Anhangs III gelistet. Als GPAI-Anwendung ohne sicherheitskritische oder grundrechterelevante Auswirkung fällt es unter die Standard-Transparenzpflichten (Art. 50: Kennzeichnung bei Interaktion mit natürlichen Personen — hier nicht direkt relevant, da kein Personeninterface).

Cheatsheet

Was ist eine Halluzination? - Strukturelle Eigenschaft von LLMs, kein Softwarefehler - Das Modell kennt die Grenzen seines eigenen Wissens nicht - Sprachlich überzeugend ≠ faktisch korrekt

Hochrisiko-Typen: - Quellenangaben (Studien, Urteile, Bücher) — häufigste und gefährlichste Art - Spezifische Zahlen (Marktgrößen, Umsätze, Statistiken) - Rechtsnormen (Paragraphen, Fristen, Verordnungsartikel) - Interne/proprietäre Daten — nie aus KI erfragen - Informationen nach dem Trainings-Cutoff

Fünf Prompt-Techniken: 1. Konfidenzlevel-Instruktion: [SICHER] / [WAHRSCHEINLICH] / [PRÜFEN] 2. Widerspruchstest: Frage variiert wiederholen, Konsistenz prüfen 3. Grounding: Dokument als Kontext übergeben + „Antworte nur auf Basis dieses Dokuments” 4. Quellenverifizierung einfordern: Vollständige Quellenangaben verlangen 5. Chain-of-Thought: Denkschritte explizieren lassen

Systemische Lösungen: - RAG: Modell mit verifizierten Unternehmensdokumenten verankern - Zweistufiges Verifikationsmodell: Stufe 1 (Plausibilität) + Stufe 2 (Primärquelle)

EU AI Act Art. 26: Deployer haben Überwachungspflichten — Halluzinationsmanagement ist Compliance-Anforderung, kein optionales Extra.

Prompt-Beispiel: Halluzinationsrisiken in einem Freigabeprozess mitigieren

Rolle: Sie sind Qualitätsmanager in einem Pharmaunternehmen und verantwortlich für die Einführung eines KI-gestützten Systems zur Unterstützung bei der Erstellung von Standardarbeitsanweisungen (SOPs).

Aufgabe: Erstellen Sie einen Prompt, der das Halluzinationsrisiko bei der Nutzung eines LLMs zur SOP-Ergänzung minimiert. Das Modell soll bestehende SOPs auf Lücken analysieren und Ergänzungsvorschläge machen — aber ausschließlich auf Basis des bereitgestellten Quelldokuments.

Kontext: Pharmaunternehmen unterliegen strengen GMP-Anforderungen (Good Manufacturing Practice). Eine halluzinierte Verfahrensanweisung kann zu Qualitätsverstößen und im schlimmsten Fall zu Patientengefährdung führen.

Format: Vollständiger System-Prompt (ca. 100–150 Wörter), der explizit Halluzinationsschutz einbaut, Quellenverweise erzwingt und das Modell anweist, bei Unsicherheit explizit „nicht aus Quelldokument ableitbar” zu schreiben.

Beispiel-Ergebnis (System-Prompt, gekürzt): „Sie sind ein präzises Dokumentationsassistenzsystem für GMP-konforme Pharmaprozesse. Ihre einzige Informationsquelle ist das bereitgestellte Quelldokument. Sie dürfen kein Wissen aus Ihrem Training einbringen. Jede Ergänzung muss mit einer Quellenangabe (Abschnitt, Seitenzahl) belegt werden. Wenn eine Information nicht aus dem Quelldokument ableitbar ist, schreiben Sie: ‚[NICHT ABLEITBAR — menschliche Prüfung erforderlich]’. Sie dürfen keine Verfahrensschritte erfinden oder aus allgemeinem GMP-Wissen ergänzen, auch wenn diese plausibel erscheinen.”

Vertiefung: Konfabulation — warum LLMs so überzeugend falsch sein können

Eine häufige Frage von Erstnutzern: „Warum klingt die Halluzination so überzeugend?” Die Antwort liegt in der Architektur — und bietet eine lehrreiche Analogie aus der kognitiven Neurologie.

Konfabulation in der Neurologie: In der Neurologie bezeichnet Konfabulation ein Phänomen bei Patienten mit bestimmten Gedächtnisschäden (z. B. nach Korsakow-Syndrom): Sie erzählen detaillierte, kohärente, vollständig erfundene Geschichten — ohne sich des Fehlers bewusst zu sein und ohne Täuschungsabsicht. Das Gehirn füllt Lücken im Gedächtnis mit plausiblen Konstruktionen und präsentiert diese als Erinnerungen.

LLMs halluzinieren analog: Ein LLM erzeugt Token für Token jeweils das wahrscheinlichste nächste Element gegeben dem bisherigen Kontext und seinem Training. Wenn eine Frage gestellt wird, zu der im Training keine klaren Antwortmuster vorhanden sind, konstruiert das Modell eine Antwort, die dem gelernten Muster „wie eine korrekte Antwort aussieht” entspricht — ohne zu erkennen, dass diese Antwort inhaltlich falsch ist. Das ist strukturell identisch mit Konfabulation: kohärente, plausible, falsche Ausgabe ohne Täuschungsabsicht und ohne Selbstwahrnehmung des Fehlers.

Was daraus folgt: Vertrauen ist kein Schutz. Ein LLM, das besonders sicher und detailliert klingt, ist nicht zwangsläufig korrekt — es kann gerade dort besonders „überzeugend” halluzinieren, wo die Frage an der Grenze seines Wissens liegt. Für kritische Anwendungen gilt: Der Verifikationsaufwand muss sich nach dem Risiko der falschen Antwort richten, nicht nach der Überzeugungskraft der Antwort.

Merksatz

LLMs kennen den Unterschied zwischen „Ich weiß es” und „Ich weiß es nicht” nicht — sie erzeugen immer eine wahrscheinliche Fortsetzung. Das macht sie in unbekanntem Terrain besonders gefährlich: Sie formulieren selbst dann präzise und sicher klingend, wenn sie sich irren.

Branchen-Vignette: Industrie & Fertigung — Halluzinationsrisiken in technischer Dokumentation

Ein mittelständischer Maschinenbauer (900 Mitarbeitende) setzt ein LLM ein, um die Erstellung von Wartungshandbüchern zu beschleunigen. Das System soll auf Basis von Konstruktionsplänen und internen Expertenwissen-Interviews erste Entwürfe erstellen, die dann von Technikredakteuren überarbeitet werden.

Der Projektleiter beobachtet nach drei Monaten ein kritisches Muster: Das LLM ergänzt Sicherheitshinweise, die in den Quelldokumenten nicht vorhanden sind — so formuliert, dass sie korrekt wirken. In zwei Fällen waren die ergänzten Hinweise widersprüchlich zu den tatsächlichen Sicherheitsanforderungen des Maschinenherstellers.

Die Lösung liegt in einer strukturellen Prompt-Architektur: Das Modell erhält explizite Anweisung, keine Sicherheitshinweise ohne Quellenangabe hinzuzufügen und bei fehlenden Informationen eine explizite Lückenmarkierung einzufügen statt sinnvolle Inhalte zu erfinden. Zusätzlich wird ein zweistufiger Review-Prozess eingeführt: KI-Entwurf → menschlicher Technikredakteur → normative Fachprüfung. Das Verstehen des Halluzinationsmechanismus war Voraussetzung dafür, dass das Unternehmen das Risiko erkannte und die richtige Gegenstrategie entwickelte.

Übung 4 — Halluzinations-Detektionstest: Methoden vergleichen

Aufgabe: Sie testen systematisch verschiedene Methoden zur Halluzinationserkennung und bewerten deren Eignung für Ihren Arbeitskontext.

Schritt-für-Schritt: 1. Wählen Sie ein Thema, zu dem Sie Expertenwissen haben (eigener Fachbereich). 2. Formulieren Sie drei Fragen zu diesem Thema: eine einfache, eine mittelschwere, eine an der Grenze Ihres Wissens. 3. Stellen Sie alle drei Fragen einem verfügbaren LLM. 4. Bewerten Sie jede Antwort: korrekt, teilweise korrekt, halluziniert, nicht überprüfbar. 5. Testen Sie für eine der Antworten drei Verifikationsmethoden: (A) Direkte Web-Recherche zur Überprüfung, (B) Rückfragen-Methode (fragen Sie das Modell, woher es diese Information hat), (C) Gegenfrage-Methode (fragen Sie das Modell, ob die Information auch falsch sein könnte). 6. Welche Methode war am effizientesten für die Erkennung des Fehlers?

Erwartetes Ergebnis: Dokumentierter Testbericht mit drei Fragen, Bewertungen und Methodenvergleich mit Empfehlung.

Reflexionsfragen

1. Wie erklären Sie einem Kunden ohne technisches KI-Vorwissen, was eine Halluzination ist — und warum er dennoch KI nutzen sollte?
2. Der Anwalt Steven Schwartz hat mit KI-generierten Texten ein Gericht in die Irre geführt. Welche Verantwortung trug das KI-System — und welche der Anwalt selbst? Wer haftet nach EU AI Act Art. 26?
3. Sie arbeiten an einem Kundenbericht und nutzen KI intensiv. Wie integrieren Sie das zweistufige Verifikationsprotokoll in Ihren Workflow, ohne die Effizienzgewinne zu verlieren?
4. Warum sind Halluzinationen bei gut dokumentierten Themen (z. B. Geschichte des Internets) seltener als bei spezifischen Zahlen und Quellen?
5. Welche drei konkreten Aufgaben aus Ihrem Berufsalltag würden Sie als „Stufe-2-pflichtig” einstufen — und welche Primärquelle würden Sie für die Verifikation nutzen?

Prompt-Beispiel: Verifikationsprotokoll für einen Rechercheprozess entwerfen

Rolle: Sie sind Senior Analyst in einer Unternehmensberatung und verantwortlich für die Qualität von Kundenstudien.

Aufgabe: Entwerfen Sie ein zweistufiges Verifikationsprotokoll für KI-gestützte Marktrecherchen. Das Protokoll soll sicherstellen, dass Halluzinationen entdeckt werden, ohne den Effizienzgewinn der KI-Nutzung vollständig aufzuheben.

Kontext: Ihr Team erstellt monatlich 4–6 Marktstudien (je 40–80 Seiten). KI wird eingesetzt für: Strukturierung der Inhalte, Zusammenfassungen von Quellen, erste Entwürfe von Analysesegmenten. Kritische Elemente: Zahlen, Quellenangaben, Expertenaussagen.

Format: Zwei-Stufen-Protokoll mit klar definierten Prüfschritten für Stufe 1 (automatisch/KI-gestützt) und Stufe 2 (menschlich), Zeitaufwand-Schätzung pro Stufe, Akzeptanzkriterien.

Beispiel-Ergebnis (gekürzt): „Stufe 1 (KI-gestützt, ~15 Min): Alle Zahlen und Quellenangaben aus dem KI-Draft in eine separate Prüfliste extrahieren lassen. Modell-Prompt: ‚Extrahiere alle genannten Prozentzahlen, Jahreszahlen, Quellenautoren und URLs aus dem Text und liste sie auf.’ Akzeptanzkriterium: Liste ist vollständig (manuell stichprobenartig geprüft). Stufe 2 (menschlich, ~30 Min): Primärquellen für Top-5 kritischste Fakten verifizieren; bei Widerspruch: gesamten Absatz neu recherchieren. Akzeptanzkriterium: Alle Zahlen mit einer Primärquelle belegt.”

Selbstlerner-Hinweise — UE 7

Für Selbstlernende ohne Kurs-Kontext:

Lernpfad: Führen Sie das Live-Halluzinationsexperiment systematisch durch: Notieren Sie Prompt, halluzinierte Antwort und Verifikationsquelle. Bauen Sie so ein persönliches „Halluzinations-Logbuch” auf, das Sie in Gesprächen einsetzen können.

Empfohlene Ergänzungsquellen: Frühes wissenschaftliches Paper zu Halluzinationen: „Survey of Hallucination in NLG” (2023, arXiv). Für aktuelle Entwicklungen: HELM Benchmark (crfm.stanford.edu/helm) von Stanford.

Praktische Aufgabe: Implementieren Sie für eine Woche das zweistufige Verifikationsprotokoll in Ihrem KI-Workflow. Zählen Sie entdeckte Halluzinationen: Bei welchen Aufgabentypen? Was war die häufigste Fehlerart?

Zeitaufwand: Lerntext: ca. 75 Minuten. Live-Halluzination Übung 1: 20 Minuten. Verifikationsprotokoll-Übung: 30 Minuten. Gesamt: ca. 2–2,5 Stunden.

Selbstkontrollfragen: Können Sie drei Hauptursachen für LLM-Halluzinationen erklären? Können Sie ein zweistufiges Verifikationsprotokoll für eine eigene Aufgabe entwerfen?

Zusätzliche Reflexionsfragen — Vertiefung

1. Es gibt eine Hypothese, dass LLMs weniger halluzinieren, wenn Prompts auf Deutsch formuliert werden — weil deutschsprachige Trainingsdaten seltener sind und das Modell vorsichtiger wird. Stimmt das? Wie würden Sie diese Hypothese testen?
2. Ein Unternehmen möchte ein KI-System einsetzen, das automatisch Pressemitteilungen generiert und direkt veröffentlicht — ohne menschliche Prüfung. Welche EU AI Act-Pflichten entstehen dadurch, und welche Halluzinationsrisiken sind besonders kritisch?
3. „Retrieval-Augmented Generation (RAG) löst das Halluzinationsproblem.” Stimmen Sie dieser Aussage zu — oder ist sie selbst eine Übertreibung? Unter welchen Bedingungen halluzinieren RAG-Systeme trotzdem?

Weiterführende Vertiefung: Vertrauens-Kalibrierung — wie Menschen mit KI-Unsicherheit umgehen sollten

Die psychologische Forschung zeigt, dass Menschen generell schlecht darin sind, ihre eigene Unsicherheit zu kalibrieren — ein Phänomen, das als Overconfidence-Bias bekannt ist. Wenn LLMs überzeugend und detailliert formulieren, nutzen sie genau den Kontext aus, der bei Menschen am stärksten Vertrauen auslöst: Flüssigkeit, Präzision und Autorität in der Sprache.

Der Expertise-Effekt: In einer Studie von Jungherr et al. (2023) wurden Testpersonen KI-generierte und menschlich geschriebene Texte präsentiert. Texte mit spezifischen Details (Namen, Zahlen, Daten) wurden konsistent als glaubwürdiger eingestuft — unabhängig davon, ob die Details korrekt waren. Dieses Phänomen hat direkte Konsequenzen für den KI-Einsatz: Detaillierte Halluzinationen werden eher übersehen als vage Ungenauigkeiten.

Kalibrierte Vertrauensstrategie: Eine professionelle Vertrauensstrategie gegenüber KI-Outputs ist nicht „allem glauben” oder „allem misstrauen”, sondern kalibriertes Vertrauen: hohe Vertrauen bei Aufgaben mit klaren Mustern (Textformatierung, Code-Syntax, allgemeines Faktenwissen zu häufigen Themen); kritische Prüfung bei Aufgaben mit spezifischen, seltenen oder zeitkritischen Informationen (spezifische Zahlen, Quellenangaben, aktuelle Ereignisse, Rechtsnormen).

Institutional Memory vs. KI-Ergebnis: Für Unternehmen gilt: KI-Outputs sollten nie das einzige Wissens-Repository sein. Wenn ein KI-System die einzige Quelle für eine kritische Information ist — und keine menschliche Prüfung stattfindet — entsteht ein systemisches Risiko, das über einzelne Halluzinationen hinausgeht: die organisatorische Abhängigkeit von einem System, das grundsätzlich unzuverlässig sein kann.

Quellen & Weiterlesen

Trainer-Hinweise

Hinweise für AI Champions — So vermitteln Sie das Thema

Timing (45 Min): - 0–5 Min: Einstieg mit dem Fall Schwartz — Reaktionen der TN abwarten, nicht sofort auflösen - 5–12 Min: Input — Was ist eine Halluzination, warum strukturell? (Token-Mechanismus kurz aufgreifen) - 12–20 Min: Hochrisiko-Situationen durchgehen, Live-Demo einer Halluzination in der Gruppe oder allein - 20–30 Min: Übung 1 — Halluzination provozieren (Partnerarbeit oder Demo-Modus) - 30–40 Min: Prompt-Techniken erläutern, RAG/Grounding einführen - 40–45 Min: Übung 2 — Verifikationsprotokoll in Einzelarbeit beginnen, Überleitung zu UE 8

Methodische Empfehlung: Die Live-Demo ist der wirkungsvollste didaktische Moment dieser UE. Stellen Sie selbst die Quellenanfrage an ChatGPT und zeigen Sie der Gruppe live, wie das Modell eine nicht-existierende Studie erfindet. Die emotionale Reaktion der TN (Überraschung, manchmal Erschrecken) ist der beste Lernverstärker.

Stolpersteine: - Einige TN reagieren mit Überverallgemeinerung: „Dann kann ich KI gar nicht mehr vertrauen.” Gegenstrategie: das Verifikationsprotokoll als professionelle Arbeitsmethode einführen — nicht als Vertrauensentzug, sondern als Handwerkszeug. - Den EU AI Act (Art. 26) nicht zu technisch einführen — es genügt die Aussage: „Wer KI einsetzt, trägt Verantwortung für die Ausgaben. Das ist regulatorisch festgelegt.” - RAG ist technisch komplex — für Nicht-Techniker reicht die Metapher: „Statt das Modell aus dem Gedächtnis antworten zu lassen, sucht es zuerst in Ihrer verifizierten Bibliothek.”

Diskussionsfragen: - „Hat jemand schon einmal eine KI-Halluzination erlebt — und wie ist das aufgefallen?” - „Was ist das schlimmste Szenario, das Ihnen für eine Halluzination in Ihrer Branche einfällt?” - „Wie würden Sie einem Kollegen erklären, warum man KI-Quellen nicht einfach übernehmen darf?”

Tafelbild-Vorschlag: Zwei Spalten: „KI-Output” (links) und „Primärquelle” (rechts). Für drei Aussagetypen (Zahl, Rechtsnorm, Quellenangabe) jeweils eintragen: Wie prüfe ich das — und wo?

Differenzierung: - Einsteiger: Fokus auf das zweistufige Verifikationsmodell und die Konfidenz-Instruktion als erste praktische Maßnahme. - Power-User: RAG-Architektur vertiefen, Diskussion über Chain-of-Thought und Selbstkonsistenz-Prüfung als fortgeschrittene Techniken.

Tipp zur Branchenauswahl: Die Hochrisiko-Szenarien (Rechtsnormen, Marktdaten, technische Spezifikationen) lassen sich für jede Branche konkretisieren. Fragen Sie die TN: „In Ihrer Branche — welche Art von Faktenangabe wäre besonders kritisch, wenn sie falsch wäre?” Nutzen Sie die Antworten für die Diskussion.

Übergang zur nächsten UE: „Wir haben heute gelernt, wie man mit den Grenzen von KI — insbesondere Halluzinationen — professionell umgeht. In UE 8 erweitern wir die Perspektive: KI ist längst nicht mehr nur ein Textgenerator. Text, Bild, Audio, Video, Code — fünf Modalitäten, eine Plattform. Welche neuen Möglichkeiten entstehen dadurch — und welche neuen Datenschutzfragen?”

Multiplikatoren-Hinweise — UE 7

Für Trainer, Führungskräfte und interne Botschafter:

Halluzinationen sind das häufigste Missverständnis in der KI-Nutzung. Als Multiplikator helfen Sie Ihrem Team, das Thema sachlich zu behandeln — weder zu verharmlosen noch zu dramatisieren.

Empfehlungen für die Nachbereitung: - Etablieren Sie im Team eine einfache „Verifikationsregel”: Jede KI-Ausgabe mit Zahlen, Namen oder Zitaten wird geprüft, bevor sie extern verwendet wird. - Zeigen Sie ein konkretes Beispiel einer Halluzination aus der Praxis (z. B. ein frei erfundenes Gerichtsurteil, das ChatGPT generiert hat — solche Fälle sind öffentlich dokumentiert). - Sprechen Sie über die Konsequenzen einer unkritischen Übernahme: „Was wäre passiert, wenn wir diesen KI-Output ohne Prüfung veröffentlicht hätten?”

Zeitinvestition: 10–15 Minuten für eine Demo mit anschließender Diskussion im Teammeeting.

Übung 5 (Transferaufgabe): Halluzinations-Jagd

Ziel: Halluzinationen in der Praxis erkennen und Verifikationsstrategien erproben.

Aufgabe: Führen Sie folgendes Experiment durch:

1. Fragen Sie ein LLM nach einem spezifischen Fachthema aus Ihrem Berufsbereich — möglichst nach Zahlen, Quellen oder Namen.
2. Notieren Sie die Antwort des Modells.
3. Überprüfen Sie mindestens drei der genannten Fakten mit einer zuverlässigen Quelle (eigenes Wissen, offizielle Website, wissenschaftliche Publikation).

Dokumentation: - Welche Fakten waren korrekt? - Welche Fakten waren falsch oder nicht verifizierbar? - Wie überzeugend klang die falsche Information — wäre sie ohne Prüfung aufgefallen?

Reflexion: Was bedeutet dieses Ergebnis für Ihren Verifikationsprozess bei KI-Ausgaben in Ihrem Berufsalltag?

Kernaussagen — UE 7 auf einen Blick

1. Halluzinationen sind kein Fehler, sondern ein strukturelles Merkmal von LLMs — Modelle optimieren auf plausible Ausgaben, nicht auf Wahrheit.

2. Faktische Halluzinationen (falsche Fakten) sind gefährlicher als stilistische Fehler, weil sie schwerer zu erkennen sind.

3. Gegenmittel: Spezifische Quellenforderung im Prompt, niedrige Temperatur bei sachkritischen Aufgaben, RAG-Systeme mit verifizierten Dokumenten.

4. Vertrauen ist kein KI-Kriterium — ein überzeugend klingender Text kann vollständig erfunden sein.

5. Etablieren Sie einen Verifikationsprozess: Welche Outputs werden blind verwendet — und welche immer geprüft?

Vertiefende Literaturhinweise — UE 7

Zu Halluzinationen in LLMs: - Ji et al. (2023): „Survey of Hallucination in Natural Language Generation” — umfassende Literaturübersicht zu Halluzinationsursachen und -mitigationen (arXiv:2202.03629). - Maynez et al. (2020): „On Faithfulness and Factuality in Abstractive Summarization” — frühes Paper zu Halluzinationen in Zusammenfassungssystemen. - Guo et al. (2022): „Survey on Automated Fact-Checking” — Übersicht zu Verifikationsmethoden für KI-generierte Inhalte (arXiv:2108.11896).

Zu RAG als Mitigationsstrategie: - Gao et al. (2023): „Retrieval-Augmented Generation for Large Language Models: A Survey” (arXiv:2312.10997). Umfassende Übersicht zu RAG-Architekturen und -Anwendungen. - Asai et al. (2023): „Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection” (arXiv:2310.11511). Fortgeschrittener RAG-Ansatz mit Selbstkritik.

Zu Verifikation und Fact-Checking: - FullFact.org: Praktische Ressource für Fact-Checking-Methoden — relevant für die Übertragung auf KI-Output-Verifikation. - FEVER Shared Task (fever.ai): Forschungsprojekt zu automatischer Faktenverifikation — gibt Einblick in die wissenschaftliche Seite des Problems.

Quelle: KI-Wissensbasis von MindsMachines, Edition Juni 2026. Vollständige Fassung mit Anhängen und Musterlösungen: als PDF anfordern.