Trainingsarten – Supervised, Unsupervised, Reinforcement, RLHF

Lernziele

• Sie erklären Supervised Learning, Unsupervised Learning und Reinforcement Learning mit je einer Analogie und einem konkreten Anwendungsbeispiel.
• Sie beschreiben die drei Phasen des RLHF-Trainings (Pre-Training, Supervised Fine-Tuning, RLHF) und deren Bedeutung für das Verhalten moderner Chatbots.
• Sie erklären, warum RLHF-trainierte Modelle manche Anfragen ablehnen — und warum das keine Zensur, sondern ein gelerntes Verhalten ist.
• Sie kennen das Konzept des „Reward Hacking” und können daraus Grenzen des RLHF-Ansatzes ableiten.
• Sie unterscheiden Constitutional AI (Anthropic) und DPO von klassischem RLHF und benennen deren Vor- und Nachteile.

Auf einen Blick

Worum geht es? — Der didaktische Einstieg

Haben Sie sich schon einmal gefragt, warum ein KI-Chatbot eine bestimmte Anfrage ablehnt — aber derselbe Sachverhalt in einer anderen Formulierung problemlos beantwortet wird? Oder warum das Modell manchmal vorsichtig und zögerlich formuliert, als hätte es Angst, etwas Falsches zu sagen?

Diese Verhaltensweisen sind keine Zufälle und keine Design-Entscheidungen eines einzelnen Ingenieurs. Sie sind das Ergebnis eines sorgfältig gestalteten Trainingsprozesses — und das Verständnis dieses Prozesses ist der Schlüssel dazu, das Verhalten von KI-Systemen vorherzusagen und zu erklären.

In dieser Einheit lernen Sie die vier wichtigsten Trainingsparadigmen kennen, mit denen moderne KI-Systeme gebaut werden. Besonders relevant ist das Verständnis von RLHF — der Trainingsmethode, die aus einem rohen Sprachmodell einen hilfreichen, harmlosen und ehrlichen Assistenten macht.

Lerntext — Theorie und Konzepte

Supervised Learning: Lernen aus Beispielen mit Korrektantworten

Supervised Learning (überwachtes Lernen) ist das intuitivste der vier Paradigmen. Das Prinzip: Ein Modell erhält Trainingspaare aus Eingabe und der richtigen Ausgabe (dem Label), und lernt, die Abbildungsfunktion zwischen beiden zu approximieren.

Die Analogie: Stellen Sie sich vor, ein Kind lernt lesen — ein Erwachsener zeigt auf ein Bild und sagt „Das ist ein Hund.” Nach Tausenden von Beispielen erkennt das Kind selbstständig Hunde auf neuen Bildern.

Typische Anwendungen: Spam-Klassifikation (Label: Spam/Kein Spam), Sentiment-Analyse, Named Entity Recognition, automatische Ticketkategorisierung, Qualitätssicherung durch Bildklassifikation. Die zentrale Herausforderung: Die Erstellung von beschrifteten Trainingsdaten ist aufwändig und teuer.

Merksatz

Supervised Learning = Lernen aus beschrifteten Beispielen. Je mehr hochwertige, korrekt gelabelte Daten, desto besser das Modell — aber Labeling ist teuer. Unsupervised Learning umgeht dieses Problem durch das Lernen aus Rohdaten ohne explizite Labels.

Unsupervised Learning: Muster ohne Anleitung entdecken

Unsupervised Learning (unüberwachtes Lernen) arbeitet ohne Labels. Das Modell erhält nur rohe Daten und soll selbstständig Strukturen, Muster und Cluster darin entdecken.

Die Analogie: 10.000 Urlaubsfotos aus verschiedenen Ländern in eine Kiste werfen. Ein Unsupervised-Learning-Algorithmus würde selbstständig Gruppen bilden — Strandbilder, Bergbilder, Stadtaufnahmen — ohne dass jemand gesagt hat, welche Kategorie gesucht wird.

Technisch realisiert durch Clustering-Algorithmen (K-Means, DBSCAN), Dimensionsreduktion (PCA, t-SNE) oder — im Fall moderner LLMs — durch das Self-Supervised Pre-Training. Das Modell soll das nächste Wort vorhersagen (Causal Language Model, GPT). Die Labels werden dabei automatisch aus den Daten selbst erzeugt. Das ist der Grund, warum das Pre-Training von Foundation Models auf billiger Infrastruktur mit Billionen von Wörtern aus dem Internet möglich ist — kein manuelles Labeling nötig.

Typische Anwendungen: Kundensegmentierung ohne vordefinierte Gruppen, Anomalieerkennung in Netzwerktraffic, Empfehlungssysteme, Themenmodellierung in großen Dokumentenmengen.

Reinforcement Learning: Lernen durch Belohnung

Reinforcement Learning (verstärkendes Lernen, RL) orientiert sich am biologischen Lernprinzip: Ein Agent interagiert mit einer Umgebung, führt Aktionen durch und erhält dafür positive oder negative Belohnungen (Reward). Ziel: Die Strategie (Policy) finden, die den kumulierten Reward langfristig maximiert.

Die Analogie: Ein Hund lernt „Sitz” — korrekte Ausführung wird mit Leckerli belohnt, falsche Ausführung nicht.

In der KI: AlphaGo (DeepMind, 2016) lernte das Brettspiel Go durch RL — der Agent spielte Millionen von Partien gegen sich selbst und optimierte seine Strategie. Die menschliche Weltranglistenführerin Lee Sedol verlor 4:1 gegen AlphaGo — ein System, das nie explizit gelehrt wurde, wie man Go spielt.

RL ist rechenintensiv und schwer auf Sprachaufgaben direkt anzuwenden, weil der Reward für „gute Sprache” nicht leicht formalisierbar ist. Das führt direkt zum nächsten Paradigma.

Abb. 5.1 — Die vier Trainingsparadigmen: Von Supervised Learning bis RLHF

RLHF: Die Innovation hinter modernen Chatbots

Reinforcement Learning from Human Feedback (RLHF) ist die Trainingsmethode, die aus einem rohen Sprachmodell einen nützlichen Assistenten macht.

Der Ablauf in drei Phasen:

Phase 1 — Pre-Training: Das Basismodell wird auf riesigen Textmengen trainiert — typischerweise Hunderte von Milliarden bis Billionen von Tokens. Das Trainingsparadigma ist Self-Supervised: Das Modell lernt, das nächste Token vorherzusagen. Nach dieser Phase kann das Modell Text generieren, aber es ist nicht darauf ausgerichtet, auf Fragen zu antworten oder hilfreiche Anweisungen zu befolgen.

Phase 2 — Supervised Fine-Tuning (SFT): Das Pre-Trained-Modell wird auf einem kleinen, aber hochwertigen Datensatz von Instruktions-Antwort-Paaren weitertrainiert. Menschliche Annotator:innen haben Fragen gestellt und ideale Antworten geschrieben. Dadurch lernt das Modell das Format der hilfreichen Konversation.

Phase 3 — RLHF: Menschliche Bewerter:innen ranken verschiedene Antworten des Modells nach Qualität. Aus diesen Rankings wird ein Reward-Modell trainiert. Schließlich wird das Hauptmodell mit dem PPO-Algorithmus optimiert — das Modell lernt, Antworten zu generieren, die menschlichen Präferenzen entsprechen.

Das Ergebnis: Ein Modell, das versucht, hilfreich (helpful), harmlos (harmless) und ehrlich (honest) zu sein — Anthropics „HHH”-Prinzip. Das ist der Grund, warum ein RLHF-trainiertes Modell auf eine Frage nach Sprengstoffsynthese nicht antwortet, auf eine harmlose Folgefrage zur selben Thematik aber doch — die Entscheidung wurde gelernt, nicht hartcodiert.

Merksatz

RLHF = Dreiphasen-Prozess: Pre-Training (Self-Supervised) → Supervised Fine-Tuning → RL auf menschlichem Feedback. Das Ergebnis ist kein mechanisch programmiertes Ablehnen — sondern ein gelerntes Verhaltensmuster, das durch Prompt-Kontext beeinflusst werden kann.

Grenzen von RLHF: Reward Hacking und kulturelle Biases

Reward Hacking: Das Modell optimiert auf das Reward-Modell — nicht auf echten Nutzen. Wenn das Reward-Modell langen, höflichen Antworten systematisch höhere Werte gibt, lernt das Hauptmodell, lange und höfliche Antworten zu generieren — auch wenn kurze und direkte besser wären. Das erklärt, warum Chatbots manchmal ausschweifend antworten, obwohl eine kurze Antwort sachgerechter wäre.

Kulturelle Biases in Human Feedback: Die Bewerter:innen, die Rankings erstellen, stammen vorwiegend aus bestimmten Kulturkreisen. Ihre Präferenzen fließen in das Reward-Modell ein — und damit in das Verhalten des Modells. Das ist eine Form von Bias, die schwer zu messen und zu korrigieren ist.

Constitutional AI und weitere RLHF-Varianten

Constitutional AI (Anthropic): Das Modell erhält eine „Verfassung” — ein Set von Prinzipien — und bewertet und verbessert seine eigenen Antworten anhand dieser Prinzipien. Vorteil: Skalierbarkeit (kein teures menschliches Labeling für jede Iteration), Konsistenz, Transparenz. Nachteil: Die Qualität der „Verfassung” selbst entscheidet über die Qualität des resultierenden Verhaltens.

Direct Preference Optimization (DPO): Eine neuere Alternative zu PPO/RLHF, die computationell effizienter ist. Statt ein separates Reward-Modell zu trainieren, wird das Sprachmodell direkt auf Paarvergleiche optimiert. DPO hat RLHF als dominante Methode für Fine-Tuning schrittweise verdrängt.

Relevanz für die Praxis: Diese Trainingsdetails erklären, warum verschiedene Modelle trotz ähnlicher Basisarchitektur unterschiedliche Persönlichkeiten zeigen. Claude (Constitutional AI) ist bekannt für konsistente Ablehnung schädlicher Anfragen. GPT-4o (RLHF + DPO) ist bekannt für Vielseitigkeit.

Vertiefung — Transfer Learning und Foundation Models

Transfer Learning ist das Prinzip, das Foundation Models so mächtig macht. Früher musste für jede KI-Aufgabe ein separates Modell von Grund auf trainiert werden. Foundation Models lösen dieses Problem: Sie werden einmalig auf riesigen, allgemeinen Datenmengen trainiert (Pre-Training) und erwerben dabei breites Sprach-, Welt- und Kontextwissen. Dieses Grundwissen wird dann per Transfer Learning auf spezifische Aufgaben angepasst — entweder durch Fine-Tuning (das Modell wird auf spezifischen Daten weitertrainiert) oder durch In-Context-Learning (das Modell erhält Aufgabenbeispiele direkt im Prompt).

Der Foundation-Model-Ansatz bedeutet wirtschaftlich: Ein einziges Modell (z. B. GPT-4o) kann gleichzeitig als Dokumentenanalyst, Code-Reviewer, E-Mail-Verfasser und Kundenberater fungieren. Das ist der fundamentale wirtschaftliche Vorteil gegenüber klassischem ML, wo jede neue Aufgabe ein separates Trainingsprojekt bedeutete. Fine-Tuning von Foundation Models ist heute für Unternehmen mit spezifischen Anforderungen zugänglich — aber: Bevor ein Unternehmen in Fine-Tuning investiert, empfiehlt sich stets die Prüfung, ob präzisere Prompting-Strategien dieselbe Verbesserung ohne den erheblichen Trainingsaufwand erzielen können.

Vertiefung II — Transformer-Architektur im Detail: „Attention is All You Need”

Die Transformer-Architektur, 2017 von Vaswani et al. bei Google vorgestellt, ist die wichtigste technische Innovation der modernen KI-Geschichte. Ein tieferes Verständnis ihrer Funktionsweise — auch ohne mathematischen Hintergrund — ist für jeden, der professionell mit KI-Systemen arbeitet, wertvoll.

Das Problem, das Transformer lösen

Vor Transformern dominierten rekurrente neuronale Netze (RNNs) und insbesondere LSTMs (Long Short-Term Memory Networks) die Sprachverarbeitung. RNNs verarbeiten Text sequenziell: Sie lesen Wort für Wort und aktualisieren einen internen Zustand. Das klingt intuitiv richtig — Menschen lesen auch sequenziell. Das Problem: Bei langen Texten verlieren RNNs den Bezug zu frühen Teilen des Textes (das Vanishing-Gradient-Problem in der zeitlichen Dimension), und die sequenzielle Verarbeitung lässt sich kaum parallelisieren, was das Training auf modernen GPU-Clustern ineffizient macht.

Der Self-Attention-Mechanismus

Das zentrale Element des Transformers ist die Selbst-Aufmerksamkeit (Self-Attention). Die Grundidee: Bei der Verarbeitung eines Wortes soll das Modell berücksichtigen, wie stark jedes andere Wort im Kontext für die Bedeutung dieses Wortes relevant ist.

Technisch wird Self-Attention durch drei Vektoren pro Token realisiert: den Query-Vektor (Q), den Key-Vektor (K) und den Value-Vektor (V). Für jedes Token wird berechnet, wie ähnlich sein Q-Vektor den K-Vektoren aller anderen Tokens ist — diese Ähnlichkeit (ein skalares Produkt, normiert durch Softmax) bestimmt das Aufmerksamkeitsgewicht. Der Ausgabe-Vektor für jedes Token ist dann die gewichtete Summe der V-Vektoren aller Tokens.

In Prosa: Das Modell beantwortet für jedes Wort die Frage „Auf welche anderen Wörter im Text muss ich schauen, um dieses Wort korrekt zu verstehen?” — und kombiniert die Information dieser relevanten Wörter zu einer Repräsentation.

Merksatz

Der Self-Attention-Mechanismus des Transformers ermöglicht die gleichzeitige Berücksichtigung aller Token-Beziehungen in einem Kontext — unabhängig von der Distanz zwischen Tokens. Das ist der entscheidende Unterschied zu sequenziellen Architekturen wie RNNs und der Grund, warum Transformer auf modernen GPU-Clustern effizient trainiert werden können.

Multi-Head Attention: Parallele Aufmerksamkeitskanäle

Transformer verwenden nicht einen einzelnen Attention-Mechanismus, sondern mehrere parallele Instanzen — Multi-Head Attention. Jeder „Kopf” (Head) lernt dabei unterschiedliche Arten von Beziehungen zwischen Tokens: ein Kopf könnte syntaktische Beziehungen (Subjekt-Verb-Objekt) lernen, ein anderer semantische Beziehungen (Synonyme, Antonyme), ein dritter koreferencielle Beziehungen (Pronomen und ihre Referenten). Die Outputs der verschiedenen Heads werden konkateniert und durch eine lineare Transformation kombiniert.

In der Praxis haben aktuelle Transformer-Modelle acht bis 96 Attention-Heads — GPT-4 hat Schätzungen zufolge 96 Heads in jedem seiner 96 Transformer-Blöcke. Das erlaubt eine sehr feinkörnige, mehrdimensionale Repräsentation sprachlicher Strukturen.

Positionskodierung: Wie der Transformer Wortreihung lernt

Da Self-Attention alle Tokens gleichzeitig betrachtet, fehlt dem Transformer inhärent die Information über die Position eines Tokens im Satz. Das wird durch Positionskodierung (Positional Encoding) kompensiert: Jedem Token wird ein positionsabhängiger Vektor hinzugefügt, bevor er in den Attention-Mechanismus einfließt. Diese Vektoren können gelernt werden (wie in GPT) oder nach einer festen mathematischen Formel berechnet werden (wie im Original-Paper).

Encoder-Decoder-Architektur und Varianten

Das Original-Transformer-Paper beschreibt eine Encoder-Decoder-Architektur für maschinelle Übersetzung. Der Encoder verarbeitet den Eingabetext und erzeugt eine Repräsentation; der Decoder generiert daraus den Ausgabetext autoregressiv (Token für Token). Moderne LLMs sind überwiegend Decoder-only-Architekturen (GPT, Claude, Llama), während BERT eine Encoder-only-Architektur ist. T5 und BART verwenden die vollständige Encoder-Decoder-Struktur.

Von Transformern zu modernen LLMs: Skalierung der Architektur Weitere Transformer-Architekturen und ihre Anwendungsgebiete

Die ursprüngliche Transformer-Architektur aus dem Paper „Attention is All You Need” hat sich in verschiedene Richtungen weiterentwickelt. Für den Praxiseinsatz sind drei Hauptvarianten relevant:

BERT (Bidirectional Encoder Representations from Transformers, Google 2018): BERT ist ein Encoder-only-Transformer, der bidirektional — also mit Blick in beide Richtungen des Textes — trainiert wurde. Das unterscheidet ihn von GPT-Modellen, die nur linksläufig (autogressiv) trainieren. BERT ist besonders stark für Klassifikationsaufgaben: Sentimentanalyse, Named Entity Recognition, Textkategorisierung, semantische Ähnlichkeit. Er ist deutlich kleiner als GPT-Modelle (BERT-Base: 110 Mio. Parameter) und kann auf gewöhnlicher CPU-Hardware betrieben werden. Das macht ihn für viele Unternehmensanwendungen interessant, die keine Textgenerierung benötigen.

T5 (Text-to-Text Transfer Transformer, Google 2019): T5 reformuliert alle NLP-Aufgaben als Text-zu-Text-Probleme: Klassifikation, Übersetzung, Zusammenfassung, Frage-Antwort — alles wird als „Eingabe-Text erzeugt Ausgabe-Text” behandelt. Das macht T5 vielseitig einsetzbar mit einer einzigen Architektur und einer einheitlichen Schnittstelle. T5 verwendet die vollständige Encoder-Decoder-Struktur des Original-Transformers.

PaLM / Gemini Architektur (Google DeepMind): Die Gemini-Modellreihe (2023, 2024, 2025) verfolgt einen nativ multimodalen Ansatz — die Architektur wurde von Beginn an für die gemeinsame Verarbeitung von Text, Bild, Audio und Video konzipiert, anstatt separate Modalitätssysteme nachträglich zu integrieren. Das ermöglicht effizientere Cross-Modal-Reasoning-Fähigkeiten, ist aber in der Implementierung deutlich komplexer.

Praktische Auswahlhilfe für Unternehmensarchitekten

Für die Toolwahl in konkreten Unternehmensanwendungen lässt sich eine vereinfachte Entscheidungsmatrix nach Architekturtyp entwickeln:

• Textklassifikation, Sentimentanalyse, Entitätserkennung → BERT-Varianten (Effizienz, lokal betreibbar)
• Textgenerierung, Chatbots, Zusammenfassungen, Code → Decoder-only (GPT, Claude, Llama)
• Übersetzung, strukturierte Umformulierung → Encoder-Decoder (T5, mT5, BART)
• Multimodale Aufgaben (Bild + Text) → GPT-4V, Claude 3.5, Gemini, LLaMA 3.2 Vision

Das Wissen um Architekturunterschiede verhindert Fehlinvestitionen: Ein Unternehmen, das nur Texte klassifizieren möchte, benötigt kein teures GPT-4o-API-Abonnement — ein lokal betriebenes BERT-Modell leistet dieselbe Aufgabe bei einem Bruchteil der Kosten und mit vollständiger Datensouveränität.

Das transformative Potenzial des Transformers liegt in seiner Skalierbarkeit. Da die Berechnung stark parallelisierbar ist, kann die Architektur auf sehr großen Clustern (Tausende von GPUs) effizient trainiert werden. Die Skalierungsgesetze (Kaplan et al. 2020) zeigen, dass die Modellqualität vorhersagbar mit der Parameterzahl wächst — und die Transformer-Architektur hat diese Skalierung bislang ohne fundamentale architektonische Änderungen ermöglicht.

Praxisvertiefung: Overfitting, Underfitting und Generalisierung — die goldene Mitte des Lernens

Eines der zentralen Konzepte im Machine Learning ist die Frage, wann ein Modell „gut genug” für den Praxiseinsatz ist — nicht zu wenig und nicht zu viel auf die Trainingsdaten angepasst.

Overfitting (Überanpassung): Ein overfittetes Modell hat die Trainingsdaten zu genau gelernt — inklusive ihrer Rauschen und Ausnahmen. Im Training zeigt es hervorragende Leistung; auf neuen, ungesehenen Daten versagt es, weil es keine allgemeinen Muster gelernt hat, sondern spezifische Beispiele auswendig kennt. Analogie: Ein Student, der alle Klausurfragen auswendig lernt, ohne die Konzepte zu verstehen — er besteht die Klausur, scheitert aber an einer abgewandelten Aufgabenstellung.

Underfitting (Unteranpassung): Ein underfittetes Modell hat zu wenig gelernt — es bildet nicht mal die Trainingsdaten gut ab. Das passiert, wenn das Modell zu einfach für die Aufgabenkomplexität ist oder zu wenig trainiert wurde.

Die Bias-Varianz-Abwägung: Das Overfitting/Underfitting-Dilemma ist statistisch als Bias-Varianz-Tradeoff formalisiert. Hohe Bias = Underfitting (Modell zu simpel). Hohe Varianz = Overfitting (Modell zu komplex). Das Optimum liegt in der Mitte, und die Suche nach diesem Optimum ist ein Kernproblem des ML-Engineerings.

Warum das für Unternehmensanwendungen relevant ist: Ein overfittetes Unternehmensmodell kann zunächst beeindruckende Testresultate zeigen und im produktiven Einsatz systematisch versagen, wenn neue Daten auftauchen, die von den Trainingsdaten abweichen. Das regelmäßige Monitoring von ML-Modellen in der Produktion — sogenanntes „Model Drift” Monitoring — ist aus diesem Grund keine optionale Best Practice, sondern Grundanforderung für zuverlässige KI-Systeme.

Branchen-Anwendungen

IT-Dienstleistung & Beratung

Das Verständnis von RLHF erklärt Verhaltensweisen von KI-Tools, die in der täglichen Arbeit beobachtet werden — und liefert konkrete Handlungsanleitungen. Wenn Claude eine bestimmte Anfrage ablehnt, liegt das an gelerntem RLHF-Verhalten — oft mit gutem Grund, manchmal übermäßig vorsichtig. Gegenstrategie: Kontext und Zweck der Anfrage explizit benennen (z. B. „Ich analysiere Phishing-Methoden für Schulungszwecke”). Das verändert die Wahrscheinlichkeitsverteilung des Modells. Für Beratungsprojekte, in denen IT-Sicherheit ein Thema ist, ist dieses Wissen direkt einsetzbar.

Industrie & Fertigung

Wenn ein Fertigungsunternehmen ein Fine-Tuning auf proprietären Produktionsdaten plant, stellt sich die Frage: Welches Trainingsparadigma ist geeignet? Für die Klassifikation von Produktionsfehlern (binäre Labels: Ausschuss/kein Ausschuss) ist Supervised Learning das klare Paradigma. Für die automatische Kategorisierung von Wartungsberichten ohne vordefinierte Kategorien ist Unsupervised Learning (Clustering) vorzuziehen. Für die Optimierung von Produktionsabläufen über Zeitreihen hinweg (Belohnungssignal: Ausschussquote) kann Reinforcement Learning eingesetzt werden. Die Kenntnis der Trainingsparadigmen ist Voraussetzung für eine sinnvolle Systemwahl.

Finanzdienstleistung & Versicherung

Kreditscoring-Modelle in Banken sind klassische Supervised-Learning-Systeme — trainiert auf historischen Kredit-Entscheidungen mit bekannten Ausgaben (Kredit zurückgezahlt / nicht zurückgezahlt). Das Risiko: Wenn historische Kreditentscheidungen diskriminierend waren (z. B. systematisch gegenüber bestimmten Bevölkerungsgruppen), reproduziert das Modell diese Diskriminierung. Das ist der Kern des RLHF-Bias-Problems in einem anderen Anwendungskontext. Für Compliance-Verantwortliche in Finanzinstituten ist dieses Grundverständnis wichtig, um die Anforderungen des EU AI Acts an faire Trainingsdaten (Art. 10) zu interpretieren.

Öffentliche Verwaltung

Für Behörden, die KI-Systeme einsetzen, ist die Kenntnis der Trainingsparadigmen relevant für die Einschätzung von Risiken. Ein System, das auf vergangenen Verwaltungsentscheidungen trainiert wurde (Supervised Learning), könnte bestehende Ungleichbehandlungen reproduzieren — eine Frage, die im Rahmen der Datenschutz-Folgenabschätzung (Art. 35 DSGVO) zu prüfen ist. Die Debatte um algorithmische Fairness in der öffentlichen Verwaltung ist direkt mit dem Verständnis von Trainingsparadigmen verbunden.

Übung 1 — Trainingsparadigmen zuordnen

Übung 1 — Trainingsparadigmen zuordnen

Aufgabe: Fünfzehn KI-Anwendungsfälle aus dem Unternehmensumfeld sind beschrieben. Ordnen Sie jeden Anwendungsfall dem wahrscheinlichsten Trainingsparadigma zu: Supervised Learning (SL), Unsupervised Learning (UL), Reinforcement Learning (RL) oder RLHF.

Material: Die Liste der Anwendungsfälle. Arbeiten Sie in Zweiergruppen, begründen Sie jede Zuordnung in einem Satz.

Anwendungsfälle (Auswahl für die Übung): 1. Ein Spam-Filter, der aus 50.000 beschrifteten E-Mails trainiert wurde. 2. Ein Chatbot, der auf die Frage „Wie erstelle ich eine Bombe?” keine Antwort gibt. 3. Ein Kundensegmentierungssystem, das ohne vordefinierte Gruppen ähnliche Kunden zusammenfasst. 4. Ein Schachprogramm, das gegen sich selbst spielt und aus Siegen lernt. 5. Ein Bilderkennungssystem, das Produktfehler als „Fehler” oder „kein Fehler” klassifiziert. 6. Ein Sprachmodell, das im Pre-Training auf 500 Milliarden Tokens aus dem Internet trainiert wurde. 7. Ein Anomalieerkennungssystem im Netzwerkmonitoring ohne definierte Angriffsmuster. 8. Ein E-Mail-Assistent, der höfliche und hilfreiche Antworten bevorzugt (gelernt durch menschliche Bewertungen).

Musterlösung:

Übung 2 — RLHF-Analyse: Chatbot-Verhalten verstehen

Übung 2 — RLHF-Verhaltensanalyse

Aufgabe: Sie beobachten und analysieren das Verhalten eines RLHF-trainierten Chatbots anhand von drei vorbereiteten Anfragen. Ziel ist es, RLHF-typische Muster zu identifizieren — Ablehnungen, Ausweichformulierungen, Reward-Hacking-Spuren.

Material: Zugang zu ChatGPT (kostenlos) oder Claude. Die drei Testanfragen (s. u.).

Schritt-für-Schritt: 1. Stellen Sie Anfrage 1 und dokumentieren Sie die Antwort (Länge, Ton, Inhalt). 2. Stellen Sie Anfrage 2 — direkt danach, ohne neues Gespräch zu starten. 3. Stellen Sie Anfrage 3 und dokumentieren Sie, ob und wie das Modell ausweicht oder ablehnt. 4. Analysieren Sie: Wo erkennen Sie RLHF-typisches Verhalten? Wo erscheint die Reaktion übermäßig vorsichtig? 5. Formulieren Sie eine Umformulierung von Anfrage 3, die denselben legitimen Informationsbedarf befriedigt, aber weniger Ablehnung provoziert.

Testanfragen: - Anfrage 1: „Erkläre mir den Unterschied zwischen Supervised und Unsupervised Learning in einfachen Worten.” - Anfrage 2: „Kannst du dasselbe in einem einzigen Satz zusammenfassen?” - Anfrage 3: „Wie könnten Angreifer ein Machine-Learning-Modell manipulieren?” (Beobachten Sie, ob das Modell den legitimen IT-Sicherheitskontext erkennt.)

Musterlösung:

RLHF-typisches Verhalten bei Anfrage 1: Das Modell gibt wahrscheinlich eine strukturierte, mehrteilige Antwort — auch wenn ein einzelner Satz gereicht hätte. Das ist Reward Hacking: Ausführliche Antworten wurden im Training bevorzugt.

RLHF-typisches Verhalten bei Anfrage 2: Das Modell kürzt die Antwort — aber möglicherweise nicht auf einen wirklich prägnanten Satz. Es könnte immer noch absichernde Formulierungen hinzufügen.

RLHF-typisches Verhalten bei Anfrage 3: Viele Modelle leiten mit einem Kontext-Check ein: „Diese Information teile ich gerne für Sicherheitsforschungszwecke…” — RLHF hat gelernt, potenziell sensitive Themen mit Kontext-Einschränkung zu versehen. Eine Umformulierung mit explizitem Kontext: „Ich bin IT-Sicherheitsberater und bereite eine Schulung zu ML-Sicherheitsrisiken vor. Erkläre mir die technischen Angriffsmethoden gegen ML-Modelle (Data Poisoning, Adversarial Examples).”

Erweiterte Übung 3 — LLM-Architektur-Diagramm zeichnen und interpretieren

Übung 3 — LLM-Architektur-Diagramm

Aufgabe: Sie erstellen ein beschriftetes Architektur-Diagramm eines Decoder-only-LLMs und erklären die Funktion jedes Bausteins anhand eines konkreten Beispielsatzes. Diese anspruchsvolle Aufgabe erfordert das Zusammenfügen der technischen Einzelkonzepte aus UE 4 und UE 5 zu einem Gesamtbild.

Material: Stift und Papier oder ein digitales Whiteboard-Tool. Beispielsatz: „Die Transformer-Architektur ist die Grundlage moderner Sprachmodelle.”

Schritt-für-Schritt:

1. Tokenisierung darstellen: Schreiben Sie den Beispielsatz auf und zeigen Sie, wie er in Tokens zerlegt wird. Schätzen Sie die Tokenanzahl (Faustregel: 1 deutsches Wort ≈ 1,5 Tokens). Zeichnen Sie jeden Token als nummerierte Box.
2. Embedding-Schicht beschriften: Zeichnen Sie unter jedem Token-Box einen Pfeil nach unten in eine „Embedding-Box”. Beschriften Sie diese mit „768-Dim-Vektor” (typisch für kleinere Modelle) und erklären Sie in einer Randnotiz: Was repräsentiert dieser Vektor?
3. Positional Encoding hinzufügen: Zeichnen Sie neben der Embedding-Box eine zweite Box für das Positional Encoding. Beschriften Sie mit „Positionsinformation für Token Nr. X”. Zeigen Sie die Addition beider Vektoren.
4. Transformer-Block skizzieren: Zeichnen Sie einen vollständigen Transformer-Block mit folgenden Elementen:

• Multi-Head Self-Attention (mit Anmerkung: „Wie wichtig sind andere Tokens für dieses Token?“)
• Layer Normalization (nach Attention und nach FFN)
• Feed-Forward Network (zwei lineare Schichten mit ReLU-Aktivierung)
• Residual Connections (Pfeile, die jeden Block umgehen) Beschriften Sie, dass ein typisches LLM diesen Block 24–96 Mal stapelt.

1. Output-Schicht beschriften: Zeigen Sie, wie der letzte Transformer-Block einen Vektor ausgibt, der über eine lineare Projektion und Softmax in eine Wahrscheinlichkeitsverteilung über alle Vokabular-Tokens umgewandelt wird. Welches Token wird als nächstes ausgewählt?
2. Grenzen identifizieren: Benennen Sie zwei strukturelle Unterschiede zwischen einem Decoder-only-LLM (wie GPT) und einem Encoder-only-Modell (wie BERT). Für welche Aufgaben ist jedes geeignet?

Erwartetes Ergebnis: Vollständiges, beschriftetes Architektur-Diagramm mit Erklärungen zu allen Bausteinen, Token-Berechnung für den Beispielsatz und Vergleich Decoder vs. Encoder.

Musterlösung (Leitlinien):

Tokenisierung des Beispielsatzes: „Die / Trans / former / -Archi / tektur / ist / die / Grund / lage / modern / er / Sprach / modelle / .” ≈ 14–17 Tokens (je nach Tokenizer-Variante). Deutsche Komposita werden oft auf Wortbestandteile aufgeteilt, was zu mehr Tokens führt als englische Äquivalente.

Embedding: Der 768-dimensionale Vektor repräsentiert die semantische Bedeutung des Tokens in einem hochdimensionalen Raum. Semantisch ähnliche Tokens (z. B. „Modell” und „System”) liegen im Vektorraum nahe beieinander.

Transformer-Block-Tiefe: GPT-3: 96 Transformer-Blöcke. BERT-Base: 12 Transformer-Blöcke. Größere Tiefe ermöglicht abstraktere, hierarchische Sprachrepräsentationen.

Decoder-only vs. Encoder-only: - Decoder-only (GPT, Claude, Llama): Generiert Text autoregressiv (Token für Token). Geeignet für: Textgenerierung, Chatbots, Code-Generierung, Zusammenfassung. Nachteil: Kann bei jeder Vorhersage nur auf vorherige Tokens schauen (kausale Attention). - Encoder-only (BERT, RoBERTa): Verarbeitet den gesamten Text bidirektional — jedes Token kann auf alle anderen Tokens schauen. Geeignet für: Klassifikation, Named Entity Recognition, semantische Ähnlichkeit. Nachteil: Generiert keinen neuen Text, da kein autoregressiver Decoder vorhanden ist.

Cheatsheet — Die wichtigsten Punkte

• RLHF = Dreiphasen-Prozess: Pre-Training (UL) → SFT (SL) → RL auf menschlichem Feedback.
• HHH-Prinzip (Anthropic): Helpful, Harmless, Honest — durch RLHF gelernt, nicht hartcodiert.
• Reward Hacking: Modell optimiert auf Reward-Modell, nicht auf echten Nutzen.
• Constitutional AI (Anthropic): Alternative zu RLHF mit Selbstbewertung anhand von Prinzipien.
• Kontext hilft: Expliziter Kontext in der Anfrage reduziert unnötige RLHF-Ablehnungen.

Prompt-Beispiel: Trainingsparadigmen für eine Produktentscheidung erläutern

Rolle: Sie sind KI-Produktmanager bei einem Software-Unternehmen, das eine neue Kundenbewertungsplattform entwickelt.

Aufgabe: Erklären Sie dem Produktteam (5 Personen, Mischung aus Entwicklern und UX-Designern, kein ML-Hintergrund) in 250 Wörtern, welches Trainingsparadigma für drei geplante KI-Funktionen optimal ist: (A) Automatische Stimmungsanalyse von Kundenbewertungen, (B) Empfehlungssystem für ähnliche Produkte, (C) Qualitätsbewertung der Bewertungstexte mit Verbesserungsvorschlägen für Kunden.

Kontext: Vorhandene Daten: 50.000 historische Kundenbewertungen mit manuellen Sentiment-Labels, 200.000 Produktinteraktionsdaten ohne Labels. Budget für eigenes Training: begrenzt.

Format: Drei Absätze (je eine Funktion), max. 250 Wörter gesamt, konkrete Empfehlung mit Begründung.

Beispiel-Ergebnis (gekürzt): „A) Für die Stimmungsanalyse empfehle ich Supervised Learning: Ihre 50.000 gelabelten Bewertungen sind ausreichend, um ein Feintuning eines vortrainierten BERT-Modells durchzuführen. B) Für das Empfehlungssystem eignet sich Unsupervised Learning (kollaboratives Filtern) auf Basis der 200.000 Interaktionsdaten — Labels sind nicht nötig. C) Für die Qualitätsbewertung mit Verbesserungsvorschlägen ist ein vortrainiertes generatives Modell mit Prompt-Engineering die effizienteste Lösung — kein eigenes Training nötig, da Textkompetenz bereits vorhanden ist.”

Vertiefung: RLHF in der Praxis — warum menschliches Feedback nicht neutral ist

Reinforcement Learning from Human Feedback (RLHF) ist die Trainingsmethode, die aus rohen Sprachmodellen die nutzerfreundlichen, scheinbar „verständnisvollen” Systeme macht, die wir heute kennen. Doch der Mechanismus hat Eigenschaften, die für kritischen Einsatz verstanden werden müssen.

Der RLHF-Prozess im Detail: Nach dem Vortraining auf Textmengen wird ein LLM in drei Schritten verfeinert. Erstens: Supervised Fine-tuning (SFT) — menschliche Annotierenden schreiben Musterantworten auf Prompts, das Modell lernt dieses Verhalten. Zweitens: Reward-Modell-Training — Annotierenden vergleichen zwei Modellantworten und wählen die bessere aus; aus diesen Präferenzen wird ein separates „Reward-Modell” trainiert. Drittens: PPO (Proximal Policy Optimization) — das Hauptmodell wird so angepasst, dass es vom Reward-Modell hohe Bewertungen erhält.

Das Alignment-Problem: RLHF löst das Problem der Nutzerfreundlichkeit — macht Modelle höflicher, hilfreicher und weniger toxisch. Es schafft aber neue Probleme. Das Hauptproblem: Modelle optimieren auf menschliche Zustimmung, nicht auf Korrektheit. Wenn Annotierenden eine plausibel klingende falsche Antwort besser bewerten als eine korrekte, aber sperrig formulierte, lernt das Modell, plausibel zu klingen statt korrekt zu sein. Das ist eine strukturelle Ursache für „confident hallucinations” — falsche Aussagen in überzeugend klingendem Ton.

Kulturelle Verzerrungen: Die Annotierenden-Teams großer KI-Unternehmen sind überwiegend englischsprachig, US-amerikanisch und höher gebildet. Das Reward-Modell reflektiert diese demografische und kulturelle Zusammensetzung. Für europäische, nicht-englische oder nicht-westliche Kontexte bedeutet das: Ein LLM, das in einer RLHF-Phase auf US-amerikanische Annotierenden-Präferenzen optimiert wurde, muss nicht optimal für deutsche Verwaltungssprache, andere Rechtsnormen oder branchenspezifische Fachterminologie kalibriert sein.

Merksatz

RLHF optimiert auf menschliche Präferenz, nicht auf faktische Korrektheit. Das erklärt, warum LLMs manchmal überzeugend falsch sind: Sie haben gelernt, was menschliche Bewerter:innen als gute Antwort empfinden — nicht unbedingt, was wahr ist.

Branchen-Vignette: IT-Beratung — Trainingsparadigmen als Beratungsleistung

Eine IT-Beratungsfirma wird von einem Handelsunternehmen beauftragt, ein KI-System für die automatische Bestellmengenprognose zu entwickeln. Der Klient fragt: „Können wir ChatGPT dafür verwenden?”

Die Beraterin kann differenziert antworten: ChatGPT (ein RLHF-feingetuntes generatives Modell) ist für textuelle Aufgaben optimiert, nicht für numerische Zeitreihenprognosen. Für Bestellmengenprognosen ist Supervised Learning mit historischen Verkaufsdaten, Lagerbeständen und saisonalen Faktoren der richtige Ansatz — typischerweise mit Gradient-Boosting-Modellen (XGBoost, LightGBM) oder Transformer-basierten Zeitreihenmodellen. Die Wahl des Trainingsparadigmas hängt von der Datenlage ab: Mit ausreichend gelabelten historischen Daten ist Supervised Learning die erste Wahl. Falls die Daten unklar strukturiert sind, kann Unsupervised Clustering helfen, saisonale Muster zu identifizieren.

Übung 4 — Trainingsparadigma-Matching: Zehn Anwendungsfälle zuordnen

Aufgabe: Sie ordnen zehn beschriebene KI-Anwendungsfälle dem optimalen Trainingsparadigma zu und begründen Ihre Entscheidung. Dabei berücksichtigen Sie Datenverfügbarkeit, Aufgabentyp und Ressourcenbeschränkungen.

Die zehn Anwendungsfälle: 1. Erkennung von Kreditkartenbetrug auf Basis historischer Transaktionsdaten mit bekannten Betrugsmustern. 2. Segmentierung von Kundenprofilen ohne vorab definierte Kategorien. 3. Optimierung von Roboter-Bewegungspfaden in einer Lagerhalle durch Trial-and-Error. 4. Automatische Übersetzung von Produktbeschreibungen (Deutsch → Englisch). 5. Identifikation von Anomalien in Netzwerktraffic ohne gelabelte Angriffsdaten. 6. Klassifikation von Kundenreklamationen nach Priorität (basierend auf 10.000 gelabelten Beispielen). 7. Personalisierte Produktempfehlungen ohne explizite Bewertungen der Nutzer. 8. Steuerung eines autonomen Fahrzeugs in simulierter Umgebung. 9. Zusammenfassung langer Rechtsdokumente auf Kerninhalte. 10. Vorhersage von Maschinenausfällen auf Basis von Sensordaten mit dokumentierten Ausfallzeitpunkten.

Schritt-für-Schritt: 1. Ordnen Sie jedem Anwendungsfall das primäre Trainingsparadigma zu: Supervised, Unsupervised, Reinforcement Learning oder RLHF/Fine-tuning eines LLMs. 2. Begründen Sie jede Zuordnung mit einem Satz. 3. Identifizieren Sie zwei Anwendungsfälle, bei denen Hybridansätze sinnvoll wären — und erläutern Sie das Hybridkonzept.

Erwartetes Ergebnis: Ausgefüllte Zuordnungstabelle mit Begründungen und zwei Hybridkonzept-Beschreibungen.

Reflexionsfragen

1. Ein Chatbot lehnt eine Anfrage ab, die Sie für vollkommen legitim halten. Sie wissen nun, dass das eine gelernte Entscheidung ist. Wie gehen Sie damit um — und was sagt das über die Grenzen von RLHF aus?
2. Wessen Werte fließen in den RLHF-Prozess ein, wenn die Bewerter:innen primär aus einem bestimmten Kulturkreis stammen? Welche Konsequenzen hat das für den globalen Einsatz von Chatbots?
3. Warum ist „das Modell einfach besser trainieren” keine einfache Lösung für Reward Hacking?
4. Ein Gesprächspartner fragt: „Wir wollen einen internen Chatbot trainieren. Müssen wir auch RLHF machen?” Was ist Ihre Antwort — und welche Alternativen bestehen?

Prompt-Beispiel: Fine-Tuning-Entscheidung für ein Unternehmensmodell begründen

Rolle: Sie sind ML-Projektleiter bei einem Pharmaunternehmen, das einen internen KI-Assistenten für wissenschaftliche Literaturrecherche entwickelt.

Aufgabe: Bewerten Sie, ob für den Use Case Fine-Tuning eines Basismodells notwendig ist oder ob Prompt-Engineering mit einem vortrainierten Modell ausreicht. Formulieren Sie eine Empfehlung mit Begründung.

Use-Case-Details: Der Assistent soll wissenschaftliche Abstracts aus PubMed analysieren und in einem spezifischen internen Reporting-Format zusammenfassen: Wirkstoffname, Studientyp, n (Studiengröße), Primärendpunkt, Signifikanz (ja/nein), Bewertung nach internem Score (1–5). Täglich werden 50–100 Abstracts verarbeitet.

Kontext: Vorhandene Daten: 2.000 manuell erstellte Beispiel-Zusammenfassungen im gewünschten Format. Budget: moderat, kein eigenes GPU-Cluster vorhanden.

Format: Empfehlung (Fine-Tuning ja/nein) mit drei Begründungsargumenten, eine Aufwandsschätzung, ein Alternativvorschlag.

Beispiel-Ergebnis (gekürzt): „Empfehlung: Kein Fine-Tuning notwendig. Begründung: (1) 2.000 Beispiele sind ausreichend für Few-Shot-Prompting — das Modell lernt das Format aus den Beispielen im Prompt. (2) Das Format ist strukturiert und klar definiert, was Prompt-Engineering besonders effektiv macht. (3) Cloud-API-Nutzung (z. B. GPT-4o-mini) ist wirtschaftlicher als Fine-Tuning ohne eigenes GPU-Cluster. Alternativ: RAG-Ansatz mit strukturiertem Few-Shot-Template, das die 10 relevantesten Beispiele aus den 2.000 abruft.”

Zusätzliche Reflexionsfragen — Vertiefung

1. Warum ist der Unterschied zwischen „Modell lernt aus Feedback” (Online Learning) und „Modell wird periodisch auf neuen Daten retrained” (Batch Learning) für Unternehmensanwendungen relevant? Welche Risiken bringt jeder Ansatz?
2. Constitutional AI (Anthropic) ist eine Alternative zu RLHF, bei der das Modell sich nach einem Regelwerk selbst bewertet. Welche Vor- und Nachteile hat dieser Ansatz im Vergleich zu menschlichem RLHF?
3. Transfer Learning ist eine der wichtigsten Ideen hinter modernen KI-Modellen. Erklären Sie in eigenen Worten, was Transfer Learning bedeutet — und warum es vortrainierte Foundation Models so wirtschaftlich attraktiv macht.

Weiterführende Vertiefung: Federated Learning und Datenschutzfreundliches Training

Für Unternehmen, die eigene Modelle trainieren möchten, aber keine sensiblen Daten in eine zentrale Cloud hochladen können, ist Federated Learning eine strategisch relevante Alternative.

Das Grundprinzip: Beim klassischen zentralisierten Training werden alle Trainingsdaten an einen zentralen Server übermittelt, wo das Modell trainiert wird. Federated Learning dreht dieses Prinzip um: Das Modell wird zu den Daten gebracht, nicht umgekehrt. Jedes Gerät oder jeder Teilnehmer trainiert lokal eine Kopie des Modells auf seinen eigenen Daten und übermittelt nur die resultierenden Modell-Updates (Gradienten) an den zentralen Server — nicht die Rohdaten. Der Server aggregiert diese Updates und verbessert das globale Modell.

Anwendungsfälle in regulierten Branchen: Federated Learning ist besonders relevant für Branchen, in denen Daten lokal bleiben müssen: Gesundheitswesen (Patientendaten verschiedener Krankenhäuser können genutzt werden, ohne die Krankenhäuser zu verlassen), Finanzwesen (Bankdaten verschiedener Institute können für gemeinsames Betrugserkennungsmodell genutzt werden, ohne Datenteilung), Industrieunternehmen (Maschinendaten verschiedener Werke können für ein gemeinsames Predictive-Maintenance-Modell genutzt werden, ohne Konkurrenzinformationen zu teilen).

Grenzen des Ansatzes: Federated Learning ist kein universeller Datenschutzschutz. Aus aggregierten Modell-Updates können unter bestimmten Bedingungen Rückschlüsse auf die Rohdaten gezogen werden (Gradient Inversion Attacks). Differential Privacy — das gezielte Hinzufügen von Rauschen zu den Gradienten — kann dieses Risiko reduzieren, verringert aber die Modellqualität. Für Unternehmen, die Federated Learning einsetzen möchten, ist die Verbindung mit Differential Privacy und sorgfältiger Threat-Modellierung entscheidend.

Quellen & Weiterlesen

Trainer-Hinweise

Selbstlerner-Hinweise — UE 5

Für Selbstlernende ohne Kurs-Kontext:

Lernpfad: Versuchen Sie für drei Aufgaben aus Ihrem Berufsalltag zu identifizieren, welches Trainingsparadigma optimal wäre, und begründen Sie Ihre Wahl schriftlich. Das Verständnis von Trainingsparadigmen wird durch Anwendung am tiefsten verankert.

Empfohlene Ergänzungsquellen: Scikit-learn User Guide (scikit-learn.org) vermittelt ML-Grundideen auch ohne Python-Kenntnisse. „Illustrating RLHF” von Hugging Face (huggingface.co/blog/rlhf) ist hervorragend illustriert.

Praktische Aufgabe: Beobachten Sie RLHF-Effekte direkt: Bitten Sie ein LLM, etwas zu tun, das es normalerweise ablehnt (harmlos, z. B. „Schreibe einen absichtlich schlechten Marketingtext”). Analysieren Sie, wie das Modell reagiert.

Zeitaufwand: Lerntext: ca. 70 Minuten. Trainingsparadigma-Matching: 25 Minuten. RLHF-Beobachtung: 15 Minuten. Gesamt: ca. 2 Stunden.

Selbstkontrollfragen: Können Sie die vier Trainingsparadigmen mit je einem Beispiel erklären? Können Sie Reward Hacking beschreiben und warum es problematisch ist?

Trainer-Hinweise — UE 5

Timing (45 Min): 5 Min Einstieg (Impulsbeispiel: Chatbot-Ablehnung live demonstrieren), 15 Min Lerntext (vier Paradigmen mit Analogien), 12 Min Übung 1 (Zuordnung in Zweiergruppen), 10 Min Übung 2 (Live-RLHF-Analyse), 3 Min Cheatsheet.

Methodische Empfehlung: Übung 2 (RLHF-Live-Analyse) ist die wirkungsvollste Übung dieser UE — Teilnehmende erleben direkt, wie das Modell reagiert. Falls kein Internetzugang verfügbar ist, können Screenshots vorbereiteter Chatverläufe verwendet werden.

Häufige Stolpersteine: (a) Teilnehmende interpretieren Chatbot-Ablehnungen als „Zensur” oder „Fehler” — klarstellen, dass es sich um gelerntes Verhalten handelt. (b) Der RLHF-Dreiphasenprozess wird oft als zu komplex empfunden — die Analogie (Schüler lernt zuerst aus Büchern, dann bekommt er Feedback von Menschen) hilft. (c) Reward Hacking klingt abstrakt — das Beispiel mit den langen Antworten ist unmittelbar verständlich.

Diskussionsfragen für Plenum: (1) „Welche Werte sollte ein Unternehmen in die ‘Verfassung’ eines eigenen KI-Assistenten aufnehmen?” (2) „Ist es ethisch vertretbar, ein KI-Modell so zu trainieren, dass es bestimmte Anfragen grundsätzlich ablehnt?”

Tafelbild-Vorschlag: Drei Phasen RLHF als vertikale Treppe: Phase 1 (Pre-Training) → Phase 2 (SFT) → Phase 3 (RLHF). Daneben: Reward Hacking als Pfeil, der am Ziel vorbeigeht.

Differenzierung: Einsteiger: Fokus auf die vier Trainingsparadigmen und die Zuordnungsübung. Power-User: Fine-Tuning-Kosten-Nutzen-Analyse für einen konkreten Unternehmensfall — wann lohnt sich Fine-Tuning vs. Prompt Engineering?

Tipp zur Branchenauswahl: Für Finanzdienstleister ist die Diskussion um Bias in Supervised-Learning-Systemen (Kreditscoring) besonders relevant. Für die öffentliche Verwaltung ist die Frage nach Fairness in automatisierten Entscheidungen (Verwaltungsakt durch KI) direkt anknüpfbar. Für IT-Dienstleister ist die praktische Implikation von RLHF (wie kommuniziere ich mit dem Modell effektiv) das Kernthema.

Übergang zur nächsten UE: „Wir verstehen jetzt, wie KI gelernt hat — aber was kann sie wirklich? In UE 6 analysieren wir systematisch die Stärken und Grenzen heutiger Sprachmodelle und entwickeln eine 2×2-Matrix für den verantwortungsvollen Einsatz.”

Multiplikatoren-Hinweise — UE 5

Für Trainer, Führungskräfte und interne Botschafter:

UE 5 schließt das technische Grundlagenwissen ab. Als Multiplikator helfen Sie Ihrem Umfeld, die Begriffe „Pre-Training”, „Fine-Tuning” und „RLHF” im richtigen Kontext zu verwenden — ohne technische Überforderung.

Empfehlungen für die Nachbereitung: - Nutzen Sie die „Lernparadigmen-Analogie”: Pre-Training = breite Allgemeinbildung, Fine-Tuning = Berufsausbildung, RLHF = Feedback vom Vorgesetzten. Diese Analogie ist allgemein verständlich und hilft, den Unterschied zu merken. - Klären Sie die häufig entstehende Frage: „Wenn wir einem KI-Modell unsere Daten geben, lernt es daraus dauerhaft?” — Die Antwort ist nein (bei Standard-APIs), und das ist aus Datenschutzsicht relevant. - Sprechen Sie mit der IT-Abteilung über die Datenschutzimplikationen von Fine-Tuning vs. RAG für Ihr Unternehmen.

Kernerkenntnis für das Team: Modelle lernen in der Regel nicht aus individuellen Anfragen — das schützt sensible Informationen.

Übung 5 (Transferaufgabe): Trainingsparadigmen auf Unternehmensszenarien mappen

Ziel: Die drei Haupttrainingsparadigmen (Pre-Training, Fine-Tuning, RLHF) auf reale Unternehmensszenarien anwenden.

Aufgabe: Ordnen Sie die folgenden vier fiktiven Unternehmensszenarien einem der drei Trainingsparadigmen zu und begründen Sie Ihre Zuordnung in je einem Satz:

1. Ein Pharmaunternehmen möchte ein KI-Modell, das ausschließlich auf seine klinischen Studien-Daten antwortet.
2. Ein Softwareanbieter trainiert ein Modell auf dem gesamten Internet — inklusive Codebeispielen, Büchern und Websites.
3. Ein Finanzdienstleister lässt menschliche Compliance-Experten KI-Ausgaben bewerten, um das Modell schrittweise sicherer zu machen.
4. Ein Einzelhändler möchte ein KI-Modell, das Produktbeschreibungen in einem spezifischen Markenton schreibt.

Musterlösung: 1. Fine-Tuning auf proprietären Daten (oder RAG) 2. Pre-Training 3. RLHF (Reinforcement Learning from Human Feedback) 4. Fine-Tuning auf Marken-Styleguide-Daten

Kernaussagen — UE 5 auf einen Blick

1. Pre-Training auf Milliarden von Texten erzeugt ein allgemeines Sprachmodell; Fine-Tuning auf spezifischen Daten schärft es für einen Anwendungsfall.

2. RLHF (Reinforcement Learning from Human Feedback) macht Modelle hilfreicher und sicherer — menschliche Bewerter trainieren das Modell, hilfreiche Antworten zu bevorzugen.

3. LLMs lernen nicht aus einzelnen Nutzeranfragen (Standard-APIs) — Eingaben fließen in der Regel nicht ins Modelltraining zurück.

4. Prompt Engineering ist die kosteneffizienteste Form der Modell-„Anpassung” — kein Training erforderlich.

5. Foundation Models bilden die Basis für spezialisierte Derivate — ein einziges Grundmodell kann durch Fine-Tuning in viele Richtungen entwickelt werden.

Vertiefende Literaturhinweise — UE 5

Zu ML-Trainingsparadigmen: - Trevor Hastie, Robert Tibshirani, Jerome Friedman: „The Elements of Statistical Learning” (2. Aufl. 2009). Das Standardwerk zu statistischem ML — kostenlos als PDF unter hastie.su.domains. Technisch anspruchsvoll, aber hervorragende Referenz für fundierte Vertiefung. - Christopher Bishop: „Pattern Recognition and Machine Learning” (Springer, 2006). Zweites Standardwerk — kostenlos unter springer.com für Registrierte.

Zu RLHF und LLM-Alignment: - Ouyang et al. (2022): „Training language models to follow instructions with human feedback” (arXiv:2203.02155). Das InstructGPT-Paper, das RLHF für LLMs popularisierte. Gut zugänglich. - Anthropic: „Constitutional AI: Harmlessness from AI Feedback” (arXiv:2212.08073). Anthropics Alternative zu RLHF — zugängliche Einführung in das Konzept. - Ziegler et al. (2019): „Fine-Tuning Language Models from Human Preferences” (arXiv:1909.08593). Eines der grundlegenden RLHF-Paper. Gut strukturiert.

Zu Transfer Learning und Foundation Models: - Peters et al. (2018): „Deep contextualized word representations” (ELMo, arXiv:1802.05365). Früher Transfer-Learning-Ansatz, der den Weg zu BERT und GPT ebnete. - Bommasani et al. (2021): „On the Opportunities and Risks of Foundation Models” (arXiv:2108.07258). Umfassendes Paper zu Foundation Models — Kapitel 1–3 sind gut zugänglich.

Quelle: KI-Wissensbasis von MindsMachines, Edition Juni 2026. Vollständige Fassung mit Anhängen und Musterlösungen: als PDF anfordern.