Lernziele
- Sie können die vier wesentlichen Quellen algorithmischer Verzerrung (Bias) benennen und an konkreten Beispielen erläutern.
- Sie kennen die historischen Fallbeispiele (Amazon Hiring Tool 2018, COMPAS Recidivism 2016) und können daraus praktische Lehren ableiten.
- Sie sind in der Lage, die drei Fairness-Metriken (Demographic Parity, Equal Opportunity, Individual Fairness) zu erklären und deren Anwendbarkeit zu beurteilen.
- Sie verstehen, warum gleichzeitige Erfüllung aller Fairness-Metriken mathematisch nicht immer möglich ist (Fairness-Unmöglichkeitstheoreme).
- Sie kennen die rechtliche Einordnung von Bias nach AGG und Art. 10 EU AI Act und können konkrete Compliance-Maßnahmen benennen.
Auf einen Blick
| Merkmal | Inhalt |
| UE-Nummer | 22 |
| Modul | Modul 2 — Recht, Ethik und EU AI Act |
| Dauer | 45 Minuten |
| Format | Seminar mit Fallanalysen |
| Schwerpunkt | Bias-Quellen, Fairness-Metriken, AGG, Art. 10 AI Act |
| Querverweise | UE 21 (Ethik-Frameworks), UE 24 (Fallstudie) |
Worum geht es? — Der didaktische Einstieg
Algorithmen diskriminieren nicht aus Böswilligkeit — sie reproduzieren die Vorurteile, die in den Daten stecken, mit denen sie trainiert wurden. Das macht algorithmic Bias besonders heimtückisch: Er ist unsichtbar, scheinbar objektiv (weil maschinell produziert) und schwer anfechtbar.
Zwei historische Fälle zeigen, was auf dem Spiel steht: Amazons internes Recruiting-KI-System bewertete Frauen systematisch schlechter als Männer — weil es auf historischen Einstellungsdaten trainiert worden war, die männerdominiert waren. COMPAS, ein System zur Rückfallprognose im US-amerikanischen Strafjustizbereich, bewertete schwarze Angeklagte als doppelt so rückfallgefährdet wie weiße Angeklagte — mit fatalen Folgen für Strafmaß und Bewährungs-Entscheidungen.
Diese UE vermittelt das Verständnis, wie Bias entsteht, wie er gemessen wird, und welche rechtlichen Konsequenzen er hat.
Lerntext — Theorie und Konzepte

Abb. 22.1 — Bias-Dimensionen: Risikobewertung für typische IT-Dienstleistungs-Anwendungsfälle (illustrativ)
Die vier Quellen algorithmischer Verzerrung
Quelle 1 — Historischer Bias (Historical Bias): Die Trainingsdaten spiegeln historische Ungleichheiten wider. Wenn ein Modell auf Daten trainiert wird, die in einer diskriminierenden Gesellschaft erzeugt wurden, lernt es diese Diskriminierung. Beispiel: Kreditwürdigkeitsmodelle, die auf historischen Kreditvergabe-Daten basieren, in denen bestimmte Bevölkerungsgruppen systematisch schlechter behandelt wurden.
Quelle 2 — Repräsentationsbias (Representation Bias): Bestimmte Gruppen sind in den Trainingsdaten unterrepräsentiert oder fehlen ganz. Das Modell funktioniert für unterrepräsentierte Gruppen schlechter. Beispiel: Gesichtserkennung trainiert überwiegend auf heller Haut → deutlich höhere Fehlerquoten bei dunkler Haut (MIT Media Lab Studie, 2018).
Quelle 3 — Messungsbias (Measurement Bias): Die Messung oder Operationalisierung des Zielmerkmals ist verzerrt. Beispiel: Schulleistungen als Proxy für Intelligenz — wenn Schulen in einkommensschwachen Gebieten systematisch schlechtere Ressourcen haben, ist die Messung selbst verzerrt.
Quelle 4 — Aggregationsbias (Aggregation Bias): Ein Modell wird auf aggregierten Daten trainiert, die für eine Untergruppe nicht repräsentativ sind. Beispiel: Medizinische Diagnose-KI, trainiert auf aggregierten Daten, die die spezifischen Symptom-Muster bestimmter Gruppen (z. B. nach Geschlecht) nicht korrekt abbilden.
Merksatz
Bias ist keine Frage der Absicht — es ist eine Frage der Daten und der Modellarchitektur. Auch neutrale, gutwillig erstellte Systeme können diskriminieren. Nur aktive Bias-Erkennung und -Minderung schützt davor.
Historische Fallbeispiele
Amazon Hiring Tool (2018): Amazon entwickelte ab 2014 intern ein KI-System zur Vorauswahl von Bewerberlebensläufen. Das System sollte helfen, aus hunderten Lebensläufen schnell geeignete Kandidaten zu identifizieren. Es wurde auf historischen Einstellungsdaten aus 10 Jahren trainiert — Daten, die die damalige Männerdominanz in der Tech-Branche widerspiegelten. Konsequenz: Das System benachteiligte Bewerberinnen systematisch. Es bewertete Lebensläufe, die Frauenhochschulen oder Frauenprogramme erwähnten, niedriger. 2018 wurde das Projekt eingestellt.
Lehre: Historische Ungleichheit in Daten → Modellerl lernt Diskriminierung → Bias reproduziert und skaliert sich.
COMPAS — Predictive Policing/Sentencing (ProPublica 2016): COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) wird von US-Gerichten zur Rückfallprognose eingesetzt — die Scores beeinflussen Strafmaß und Bewährungsentscheidungen. ProPublica analysierte 2016 COMPAS-Daten und fand: Schwarze Angeklagte wurden doppelt so häufig fälschlicherweise als „hoch rückfallgefährdet” eingestuft wie weiße Angeklagte. Dabei war das System von seinem Hersteller als „fair” beschrieben worden — gemessen an einer bestimmten Fairness-Metrik.
Lehre: Fairness ist keine einheitliche Größe. Je nach Metrik kann dasselbe System als „fair” oder „unfair” eingestuft werden.
Die drei Fairness-Metriken
Demographic Parity (Statistische Parität): Das Modell trifft für alle Gruppen gleich häufig positive Entscheidungen (z. B. Kreditbewilligung). Unabhängig von Gruppenmerkmalen: 30 % aller Bewerber werden eingestellt — ob Gruppe A oder Gruppe B.
Problem: Wenn Gruppen sich in relevantem Merkmal unterscheiden (z. B. tatsächliche Rückfallrate), ist Demographic Parity möglicherweise nicht das gerechte Maß.
Equal Opportunity (Chancengleichheit): Das Modell hat für alle Gruppen dieselbe True-Positive-Rate (Sensitivität). Wenn jemand tatsächlich die positive Eigenschaft hat (z. B. kreditwürdig ist), muss die Wahrscheinlichkeit, dies korrekt zu erkennen, für alle Gruppen gleich sein.
Individual Fairness: Ähnliche Individuen werden ähnlich behandelt — unabhängig von ihrer Gruppenzugehörigkeit. Zwei Personen mit denselben relevanten Merkmalen sollten dieselbe Entscheidung erhalten.
Das Fairness-Unmöglichkeitstheorem: Chouldechova (2017) und Kleinberg et al. (2016) haben mathematisch bewiesen, dass bestimmte Fairness-Kriterien gleichzeitig nicht erfüllbar sind, wenn Basisraten zwischen Gruppen unterschiedlich sind. Das bedeutet: Keine technische Lösung kann alle Fairness-Anforderungen gleichzeitig erfüllen. Es ist immer eine normative, politische Entscheidung, welche Fairness-Metrik priorisiert wird.
Merksatz
Fairness ist keine technische Frage allein — sie ist immer auch eine normative, gesellschaftliche Frage. Die Entscheidung, welche Fairness-Metrik gilt, muss von Menschen getroffen werden, nicht von Algorithmen.
Rechtliche Einordnung: AGG und Art. 10 EU AI Act
Allgemeines Gleichbehandlungsgesetz (AGG): Das AGG verbietet Diskriminierung aufgrund von Rasse, ethnischer Herkunft, Geschlecht, Religion, Weltanschauung, Behinderung, Alter oder sexueller Identität. Wenn ein KI-System eine Entscheidung trifft, die auf diesen Merkmalen (direkt oder indirekt) basiert, kann eine AGG-Verletzung vorliegen — unabhängig davon, ob die Diskriminierung beabsichtigt war.
Indirekte Diskriminierung: Besonders relevant ist die indirekte Diskriminierung: Eine scheinbar neutrale Regelung, die eine durch AGG geschützte Gruppe besonders benachteiligt. Wenn ein Algorithmus eine Metrik nutzt, die stark mit einem geschützten Merkmal korreliert (z. B. Wohnort als Proxy für ethnische Herkunft), kann indirekte Diskriminierung vorliegen.
Art. 10 EU AI Act (Hochrisiko-Datenpflichten): Art. 10 verpflichtet Anbieter von Hochrisiko-KI-Systemen, sicherzustellen, dass Trainingsdaten auf relevante Bias untersucht werden. Deployer tragen die Verantwortung, diese Anforderungen zu kennen und die Systemdokumentation entsprechend zu prüfen.
Tools zur Bias-Erkennung: - Microsoft Fairlearn (Open Source): Framework zur Messung und Minderung von Bias in ML-Modellen. - IBM AI Fairness 360 (Open Source): Toolkit mit über 70 Fairness-Metriken und Algorithmen zur Bias-Minderung.
Vertiefung — Bias in Bildgenerierung und Sprach-KI
Stereotype in generativer KI
Moderne LLMs und Bildgeneratoren reproduzieren gesellschaftliche Stereotype aus ihren Trainingsdaten. Untersuchungen zeigen:
Bildgenerierung: Wenn typische Bildgeneratoren gebeten werden, einen „Arzt” oder eine „Pflegeperson” darzustellen, erzeugen sie oft stereotype Bilder (Arzt = männlich, Pflegeperson = weiblich). Das liegt daran, dass Bilder im Internet historische Rollenverteilungen widerspiegeln.
Sprachmodelle: LLMs zeigen bei der Textvervollständigung und bei Assoziationsaufgaben messbare Geschlechter- und ethnische Stereotype. Beispiel: Die Assoziation von Berufen mit Geschlechtern in LLM-Textvervollständigungen spiegelt historische Geschlechtermuster wider.
Maßnahmen gegen Bias in der Praxis
Für Unternehmen, die KI-Systeme einsetzen oder beschaffen, empfehlen sich folgende Maßnahmen:
- Bias-Audit bei Beschaffung: Vor dem Einsatz prüfen, ob der Anbieter Bias-Tests durchgeführt hat und Ergebnisse transparent kommuniziert.
- Regelmäßige Bias-Überprüfung im Betrieb: KI-Systeme sollten regelmäßig auf Bias-Drift überwacht werden — Bias kann sich auch nach dem Deployment entwickeln, wenn sich die Nutzungspopulation ändert.
- Diverse Testgruppen: Sicherstellen, dass Tests von KI-Systemen alle relevanten Gruppen einschließen.
- Dokumentation: Bias-Tests und Ergebnisse dokumentieren — für Art. 26 AI Act und AGG-Defensibilität.
Branchen-Anwendungen
IT-Dienstleistung & Beratung
IT-Berater, die KI-Systeme für Kunden entwickeln oder konfigurieren, sind mitverantwortlich für Bias-Risiken. Wenn ein für einen Kunden entwickeltes HR-KI-System diskriminiert, kann auch der IT-Dienstleister in die Haftung geraten. Empfehlung: Bias-Auditing als festes Element in KI-Projektmethodologien aufnehmen. Kundenergebnisse dokumentieren.
Industrie & Fertigung
Im Industriebereich sind Bias-Risiken weniger offensichtlich, aber vorhanden — insbesondere bei KI-gestützter Personalplanung und Leistungsüberwachung. Wenn ein System zur Schichtzuteilung systematisch bestimmte Mitarbeitende bevorzugt (z. B. aufgrund von Kommunikationsmustern), kann dies eine AGG-Verletzung darstellen. Empfehlung: Bias-Prüfung auch für interne HR-KI-Systeme — nicht nur für Kundenprodukte.
Finanzdienstleistung & Versicherung
Im Finanzsektor ist Bias bei Kreditvergabe und Versicherungsprämien rechtlich besonders kritisch. Das AGG verbietet Diskriminierung bei Kreditvergabe. Regulatoren (BaFin, EBA) fordern zunehmend Bias-Dokumentation für KI-gestützte Kreditentscheidungen. Empfehlung: Fairness-Metriken in Kreditmodellen regelmäßig prüfen und Ergebnisse intern dokumentieren.
Öffentliche Verwaltung
Öffentliche KI-Systeme (z. B. für Sozialleistungsentscheidungen oder Polizeiarbeit) haben besonders hohe Bias-Risiken — und besonders hohe Auswirkungen. Diskriminierung durch staatliche Stellen ist besonders grundrechtlich problematisch. Empfehlung: Externe, unabhängige Bias-Audits für KI-Systeme in kritischen Bereichen. Transparente Kommunikation über eingesetzte Systeme und Fairness-Metriken.
Übung 1 — Bias-Quellen-Analyse
Bias-Auditing — Methoden und Tools
Bias-Auditing ist der Prozess der systematischen Prüfung eines KI-Systems auf diskriminierende Muster. Es gibt verschiedene Ansätze:
Statistische Methoden: Berechnung von Fairness-Metriken (Demographic Parity, Equal Opportunity, etc.) für verschiedene Gruppen. Wenn die Metriken zwischen Gruppen signifikant abweichen, liegt potenzieller Bias vor.
Adversariales Testen: Gezieltes Erstellen von Testfällen, die Bias aufdecken sollen. Z. B. identische Bewerbungsunterlagen mit männlichem vs. weiblichem Namen → Unterschiede in der KI-Bewertung zeigen Bias.
Erklärbarkeits-Analysen: Tools wie LIME (Local Interpretable Model-Agnostic Explanations) oder SHAP (Shapley Additive Explanations) erklären, welche Features die KI-Entscheidung am stärksten beeinflusst haben. Wenn geschützte Merkmale oder damit korrelierte Features dominante Einflussfaktoren sind, ist dies ein Bias-Signal.
Technische Tools: Microsoft Fairlearn (Open Source), IBM AI Fairness 360 (Open Source), Google What-If Tool (Open Source), Fiddler AI (kommerziell). Diese Tools berechnen Fairness-Metriken und visualisieren Bias-Patterns.
Art. 10 EU AI Act — Datenanforderungen für Hochrisiko-KI
Art. 10 EU AI Act enthält spezifische Anforderungen an die Trainingsdaten für Hochrisiko-KI-Systeme:
- Trainingsdaten müssen „relevant, repräsentativ, fehlerfrei und vollständig” sein
- Geeignete Daten-Governance-Praktiken müssen angewendet werden
- Möglicherweise vorhandene Bias in den Daten müssen identifiziert und — soweit möglich — behoben werden
- Die Auswahlkriterien der Trainingsdaten müssen dokumentiert werden
Für Deployer bedeutet dies: Sie können und müssen Anbieter von Hochrisiko-KI-Systemen nach ihrer Datenanforderungspolicy fragen. Wenn ein Anbieter keine Angaben zu Art. 10 macht, ist dies ein rotes Flag für die Compliance-Prüfung.
Merksatz
Bias in KI-Systemen ist kein Fehler — er ist eine Eigenschaft, die aus den Trainingsdaten und dem Modell-Design entsteht. Vollständige Bias-Freiheit ist unrealistisch. Das Ziel ist es, Bias zu identifizieren, zu minimieren und transparent zu machen — insbesondere bei Hochrisiko-Entscheidungen.
AGG und KI — Konkrete Haftungsrisiken
Das Allgemeine Gleichbehandlungsgesetz (AGG) schützt Personen vor Benachteiligung aufgrund von Rasse oder ethnischer Herkunft, Geschlecht, Religion oder Weltanschauung, Behinderung, Alter und sexueller Identität. Wenn ein KI-System Entscheidungen trifft, die mit diesen Merkmalen korrelieren, entsteht ein AGG-Risiko.
Konkrete Haftungsszenarien: - Bewerbungsauswahl: KI lehnt Bewerberinnen häufiger ab als Bewerber → Schadensersatzanspruch nach § 15 AGG - Kreditentscheidung: KI vergibt Kredite seltener an Personen mit nicht-deutschem Namen → AGG-Verletzung - Versicherungsangebot: KI bietet höhere Prämien für bestimmte Altersgruppen an → Altersbiasanspruch
Die Beweislast ist im AGG erleichtert (§ 22 AGG): Wenn die betroffene Person Tatsachen glaubhaft macht, die eine Benachteiligung wegen eines geschützten Merkmals vermuten lassen, muss der Arbeitgeber/das Unternehmen beweisen, dass keine Benachteiligung vorlag. Bei KI-Systemen mit nachgewiesenem Bias ist dieser Gegenbeweis schwer zu führen.
Microsoft Fairlearn und IBM AI Fairness 360 — Praxiseinsatz
Microsoft Fairlearn (https://fairlearn.org):
Fairlearn ist ein Open-Source-Toolkit, das Entwickler und Data Scientists bei der Bewertung und Verbesserung der Fairness von KI-Systemen unterstützt. Es bietet:
- Fairness Assessment: Berechnung von Fairness-Metriken für verschiedene demografische Gruppen
- Mitigation Algorithms: Algorithmen zur Reduzierung von Bias (z. B. Threshold Optimizer, Exponentiated Gradient, Grid Search)
- Visualisierungen: Dashboard zur visuellen Analyse von Fairness-Trade-offs
Praktischer Einsatz: Ein HR-Team, das ein Bewerbungsscreening-Tool evaluiert, kann Fairlearn nutzen, um zu prüfen, ob das Tool männliche und weibliche Bewerber gleich behandelt — und wenn nicht, welche Mitigation-Strategie den Bias am effektivsten reduziert.
IBM AI Fairness 360 (https://aif360.res.ibm.com):
AIF360 ist ein umfassenderes Toolkit mit über 70 Fairness-Metriken und 10+ Bias-Mitigation-Algorithmen. Es unterstützt den gesamten Machine-Learning-Lebenszyklus:
- Pre-Processing-Algorithmen: Bias-Korrektur in den Trainingsdaten (z. B. Reweighing, Disparate Impact Remover)
- In-Processing-Algorithmen: Fairness-Constraints direkt im Training (z. B. Adversarial Debiasing)
- Post-Processing-Algorithmen: Bias-Korrektur in den Modell-Outputs (z. B. Calibrated Equalized Odds, Reject Option Classification)
Einschränkungen beider Tools: Sie messen Bias gemäß definierten Fairness-Metriken — aber wie gezeigt wurde, ist die Wahl der Metrik selbst eine ethische Entscheidung. Die Tools ersetzen keine menschliche Urteilsfähigkeit bei der Fairness-Bewertung.
Regulatorische Anforderungen an Bias-Auditing
Art. 10 EU AI Act verpflichtet Anbieter von Hochrisiko-KI, in den Trainingsdaten vorhandene Biases zu identifizieren. Art. 26 Abs. 5 AI Act verpflichtet Deployer, sicherzustellen, dass Mitarbeitende den Kontext kennen, in dem Hochrisiko-KI eingesetzt wird — einschließlich seiner Grenzen und Risiken. Implizit bedeutet das: Deployer müssen Bias-Risiken ihrer eingesetzten Hochrisiko-Systeme kennen.
In der Praxis: Fordern Sie von Anbietern von Hochrisiko-HR-KI-Systemen ein Bias-Audit-Ergebnis an. Reputable Anbieter führen solche Audits durch und stellen die Ergebnisse auf Anfrage zur Verfügung. Wenn ein Anbieter keine Informationen zu Bias-Tests vorlegen kann, ist dies ein kritisches Risikosignal.
Übung 1 — Bias-Quellen identifizieren
Aufgabe: Identifizieren Sie für die folgenden drei KI-Anwendungen die wahrscheinlichste Bias-Quelle und erklären Sie, wie Bias konkret entstehen könnte.
- Ein Spracherkennungssystem, das für Telefonhotlines genutzt wird.
- Ein KI-Diagnose-Tool, das auf US-amerikanischen Patientendaten trainiert wurde und nun in Deutschland eingesetzt wird.
- Ein Algorithmus, der Werbeanzeigen ausspielt, der auf Klickverhalten trainiert wurde.
Bearbeitungszeit: 15 Minuten, Partnerarbeit.
Musterlösung:
- Spracherkennung: Repräsentationsbias — wenn Trainingsdaten überwiegend Standardaussprachen enthalten, funktioniert das System für Menschen mit Akzenten, bestimmten Dialekten oder atypischen Stimmmustern schlechter.
- Diagnose-Tool US→DE: Aggregationsbias + Repräsentationsbias — US-Patientenpopulation unterscheidet sich in Demographie, Krankheitsmustern und Behandlungsstandards von deutschen Patienten. Das Modell kann für die deutsche Population schlechter performen.
- Werbealgorithmus: Historischer Bias + Feedback-Loop — Algorithmus lernt, welche Gruppen bisher auf welche Werbung geklickt haben, und optimiert darauf. Wenn Gruppe X bisher keine Technologie-Werbung gesehen hat, bekommt sie sie weiterhin nicht — obwohl sie vielleicht interessiert wäre.
Übung 2 — Fairness-Metrik-Dilemma
Übung 2 — Das COMPAS-Dilemma
Ausgangslage: Ein fiktives KI-System zur Rückfallprognose hat folgende Eigenschaften: - Für Gruppe A: 30 % der tatsächlich Rückfälligen werden als „hoch rückfallgefährdet” eingestuft (True Positive Rate = 30 %). - Für Gruppe B: 60 % der tatsächlich Rückfälligen werden als „hoch rückfallgefährdet” eingestuft (True Positive Rate = 60 %). - Für Gruppe A: 5 % der nicht Rückfälligen werden fälschlicherweise als „hoch rückfallgefährdet” eingestuft. - Für Gruppe B: 15 % der nicht Rückfälligen werden fälschlicherweise als „hoch rückfallgefährdet” eingestuft.
Frage: Ist dieses System fair? Welche Fairness-Metrik würden Sie anwenden?
Bearbeitungszeit: 20 Minuten, Diskussion.
Musterlösung:
Das System ist nicht fair nach dem Equal-Opportunity-Kriterium (gleiche True Positive Rate): Gruppe A hat TPR 30 %, Gruppe B TPR 60 % — große Differenz.
Das System ist auch nicht fair nach dem False Positive Rate-Kriterium: Gruppe A FPR 5 %, Gruppe B FPR 15 % — Gruppe B wird häufiger fälschlicherweise als rückfällig eingestuft.
Kernproblem: Man kann nicht gleichzeitig gleiche TPR und gleiche FPR und gleiche Predictive Values erreichen, wenn die tatsächlichen Basisraten zwischen Gruppen unterschiedlich sind (Fairness-Unmöglichkeitstheorem). Es ist eine normative Entscheidung, welche Metrik priorisiert wird — und wer diese Entscheidung trifft, trägt politische Verantwortung.
Fairness-Metriken — Konflikte und Trade-offs
Ein wichtiges und oft übersehenes Ergebnis der Fairness-Forschung ist, dass verschiedene Fairness-Metriken mathematisch nicht gleichzeitig optimiert werden können — sie sind unter bestimmten Bedingungen inkompatibel. Dies ist bekannt als das „Fairness-Unmöglichkeitstheorem” (Chouldechova, 2017; Kleinberg et al., 2016).
Beispiel: In einem Kreditwürdigkeits-Scoring-System können Sie nicht gleichzeitig: - Gleiche Falschablehnungsraten für alle Gruppen erreichen (Equal Opportunity) - Gleiche Falschakzeptanzraten für alle Gruppen erreichen (Equalized Odds) - Gleiche Vorhersagepräzision für alle Gruppen erreichen (Calibration)
Diese Metriken sind bei ungleich verteilten Basisraten (unterschiedliche Kreditausfallraten zwischen Gruppen) mathematisch nicht simultane zu optimieren.
Konsequenz: Unternehmen und Regulatoren müssen eine bewusste Entscheidung treffen, welche Fairness-Metrik in welchem Kontext Vorrang hat. Diese Entscheidung ist nicht technisch — sie ist politisch und ethisch. Ein KI-Entwickler oder Deployer, der diese Entscheidung implizit durch die Wahl einer Metrik trifft, ohne die Entscheidung explizit zu machen und zu dokumentieren, handelt intransparent.
Bias-Quellen in der Praxis — Typische Fallkonstellationen
Historischer Bias: Ein Kreditinstitut nutzt historische Kreditvergabedaten für das Training. In der Vergangenheit wurden Kredite häufiger an männliche Antragsteller vergeben. Das Modell lernt diese historische Diskriminierung und perpetuiert sie — obwohl das Modell nach Gender zu optimieren versucht wird.
Mess-Bias: Ein Qualitätskontrollsystem wird auf Fotos aus einer Fabrik trainiert. Die Fotos der Tagschicht (bessere Beleuchtung) sind qualitativ besser als die der Nachtschicht. Das Modell wird schlechter für Nachtschicht-Qualitätsprüfungen. Wenn Nachtschicht-Arbeiter häufiger bestimmte demografische Gruppen repräsentieren, entsteht indirekter Bias.
Repräsentations-Bias: Ein medizinisches KI-System wird vorwiegend mit Patientendaten aus westeuropäischen Bevölkerungsgruppen trainiert. Bei der Anwendung in anderen ethnischen Gruppen sind die Modell-Diagnosen unzuverlässiger — ein bekanntes Problem in der medizinischen KI-Forschung.
Aggregations-Bias: Ein Modell wird auf aggregierten Daten trainiert und ignoriert Subgruppenunterschiede. Wenn das Modell für alle Subgruppen gemeinsam validiert wird, aber nicht für einzelne Subgruppen, können signifikante Performance-Unterschiede unentdeckt bleiben.
Merksatz
Kein Fairness-Maß ist absolut und universell richtig. Die Wahl der Fairness-Metrik ist eine ethische und politische Entscheidung, die transparent gemacht und begründet werden muss — sie kann nicht allein technisch beantwortet werden.
Bias-Reporting und Kommunikation
Wenn ein Bias-Audit Probleme aufdeckt, stellt sich die Frage: Wie wird kommuniziert? Transparenz versus Reputationsschutz sind hier oft in Spannung:
Interne Kommunikation: Bias-Audit-Ergebnisse sollten vollständig und unverändert an die relevanten Entscheidungsträger kommuniziert werden — Geschäftsführung, KI-Verantwortliche, Datenschutzbeauftragte, ggf. Betriebsrat. Selektive Berichterstattung oder Beschönigung verhindert notwendige Korrekturen.
Externe Kommunikation: Wenn ein KI-System mit bekanntem Bias in regulierten Kontexten (z. B. Kreditvergabe) eingesetzt wird, können Offenlegungspflichten entstehen (Art. 50 AI Act für Transparenz, BaFin-Anforderungen für Finanzinstitute). Proaktive Transparenz ist besser als reaktive Erklärungen nach einem Skandal.
Kommunikation mit Betroffenen: Personen, die von einer möglicherweise bias-behafteten KI-Entscheidung betroffen sind, haben ein Recht auf Information (DSGVO Art. 13/14) und auf Erklärung (Art. 86 AI Act). Kommunizieren Sie klar, welche Rolle KI in der Entscheidung gespielt hat — und welche Möglichkeiten zur Überprüfung bestehen.
Warnung — Compliance-Risiko: AGG-Verletzung durch Bias
KI-gestützte Entscheidungen, die durch Bias diskriminieren, können AGG-Verletzungen darstellen — unabhängig von der Absicht. Die Schadensersatzansprüche nach AGG §15 sind begrenzt, aber die Reputationsschäden und das Risiko von Verbandsklagen (nach dem Verbandsklagenrichtlinien-Umsetzungsgesetz) können erheblich sein. Nach Art. 10 EU AI Act müssen Anbieter von Hochrisiko-Systemen Bias in Trainingsdaten aktiv adressieren. Als Deployer müssen Sie sicherstellen, dass der Anbieter diese Pflicht erfüllt — und dies dokumentieren. Wenn Sie ein Hochrisiko-System einsetzen und es diskriminiert, ohne dass Sie Bias-Dokumentation angefordert haben, erhöht sich Ihr Haftungsrisiko erheblich. Empfehlung: Fordern Sie bei der Beschaffung von KI-Systemen immer eine Bias-Analyse-Dokumentation an und prüfen Sie sie.
Cheatsheet — Bias und Fairness
| Thema | Kernbotschaft |
| Bias-Quelle 1 | Historischer Bias — diskriminierende Vergangenheit in Daten |
| Bias-Quelle 2 | Repräsentationsbias — Untergruppen unterrepräsentiert |
| Bias-Quelle 3 | Messungsbias — verzerrte Messung des Zielmerkmals |
| Bias-Quelle 4 | Aggregationsbias — Modell für Subgruppe ungeeignet |
| Demographic Parity | Gleiche Entscheidungsrate für alle Gruppen |
| Equal Opportunity | Gleiche True-Positive-Rate für alle Gruppen |
| Individual Fairness | Ähnliche Individuen = ähnliche Entscheidung |
| Fairness-Unmöglichkeit | Nicht alle Metriken gleichzeitig erfüllbar |
| AGG + Art. 10 AI Act | Rechtliche Pflicht zur Bias-Minderung bei Hochrisiko-KI |
| Tools | Microsoft Fairlearn, IBM AI Fairness 360 |
AGG in der Praxis — Vermeidung von Diskriminierung durch KI
Das AGG ist das zentrale Antidiskriminierungsgesetz in Deutschland. Im Arbeitsrecht schützt es Beschäftigte und Bewerber vor Benachteiligung aufgrund von acht Merkmalen: Rasse, ethnische Herkunft, Geschlecht, Religion, Weltanschauung, Behinderung, Alter, sexuelle Identität.
Unmittelbare Diskriminierung durch KI (§ 3 Abs. 1 AGG): Ein KI-System, das explizit auf eines der geschützten Merkmale abstellt (z. B. filtert Bewerbungen nach Geschlecht), ist eine unmittelbare Diskriminierung — rechtlich unzulässig und leicht nachweisbar.
Mittelbare Diskriminierung durch KI (§ 3 Abs. 2 AGG): Gefährlicher in der Praxis: Ein KI-System filtert nach einem scheinbar neutralen Merkmal (z. B. Wohnort oder Hochschulabschlussort), das faktisch mit einem geschützten Merkmal korreliert. Beispiel: Bevorzugung bestimmter Universitäten (die historisch weniger zugänglich für bestimmte Bevölkerungsgruppen waren) kann mittelbare Diskriminierung darstellen.
Beweislasterleichterung: Wenn eine Person Tatsachen glaubhaft macht, die eine Diskriminierung vermuten lassen, trägt der Arbeitgeber die Beweislast (§ 22 AGG). Bei KI-Systemen mit nachgewiesenen Bias-Mustern ist diese Glaubhaftmachung einfach.
Schutzmaßnahmen: Bias-Audits vor Einführung, Human-in-the-Loop für alle Entscheidungen mit AGG-Relevanz, klare Dokumentation der Entscheidungskriterien, offene Beschwerdeverfahren.
Prompt-Beispiel: Bias-Analyse eines KI-Systems strukturiert durchführen
Rolle: Sie sind ein KI-Fairness-Experte mit Kenntnissen der aktuellen Bias-Forschung, des AGG (Allgemeines Gleichbehandlungsgesetz) und der einschlägigen EU AI Act-Anforderungen. Sie unterstützen Organisationen bei der systematischen Bias-Erkennung und -Reduktion.
Aufgabe: Führen Sie eine strukturierte Bias-Analyse für das beschriebene KI-System durch. Identifizieren Sie potenzielle Bias-Quellen auf drei Ebenen: (1) Trainingsdaten-Bias (historische Ungleichgewichte, Unterrepräsentation), (2) Algorithmus-Bias (Optimierungsziele, Proxy-Variablen), (3) Einsatz-Bias (Kontextfaktoren, Feedback-Schleifen). Empfehlen Sie für jede Ebene mindestens eine technische und eine organisatorische Mitigationsmaßnahme.
Kontext: KI-System: [Beschreiben Sie das System: Zweck, Trainingsdaten (soweit bekannt), Entscheidungsbereich, betroffene Personengruppen, historischer Einsatzkontext]
Format: Strukturierter Bericht mit: (1) Bias-Risikomatrix (Ebene | Identifiziertes Risiko | Wahrscheinlichkeit Hoch/Mittel/Gering | Technische Maßnahme | Organisatorische Maßnahme), (2) AGG-Relevanzprüfung (welche geschützten Merkmale sind potenziell betroffen?), (3) Empfohlene Monitoring-Maßnahmen nach Go-Live. Sachlich, nicht alarmistisch.
Branchen-Vignette — Algorithmic Bias im öffentlichen Sektor
Eine Bundesagentur führt ein KI-System ein, das Langzeitarbeitslose in Förderkategorien einteilt: „hohe Vermittlungschance”, „mittlere Chance” und „geringe Chance”. Personen in der letzten Kategorie erhalten weniger intensive Beratung und Förderung.
Bias-Analyse: - Trainingsdaten-Bias: Das Modell wurde auf historischen Vermittlungsdaten trainiert. Wenn in der Vergangenheit bestimmte Gruppen (z. B. ältere Arbeitnehmerinnen und Arbeitnehmer, Menschen mit Migrationshintergrund) trotz ähnlicher Qualifikationen seltener vermittelt wurden, lernt das Modell diese historische Ungleichheit als Muster. - Proxy-Variablen: Postleitzahl als Standortmerkmal kann ethnische Herkunft oder sozialen Status indirekt kodieren — ein typisches Bias-Risiko. - Selbsterfüllende Prophezeiung: Personen, die als „geringe Chance” eingestuft werden, erhalten weniger Förderung und haben in der Folge tatsächlich schlechtere Chancen — was das Modell in seiner Einschätzung bestätigt.
Rechtliche Relevanz: Art. 5 EU AI Act: Social Scoring durch öffentliche Behörden über einen ausgedehnten Zeitraum, das zu einer ungerechtfertigten oder unverhältnismäßigen Benachteiligung führt, ist verboten. AGG § 1: Diskriminierung aufgrund der ethnischen Herkunft oder des Alters ist unzulässig.
Lösung: Das Amt führt regelmäßige Disparitätsanalysen (Vergleich der Kategorisierungsquoten nach demografischen Gruppen), eine Widerspruchsmöglichkeit für Betroffene (menschliche Überprüfung) und unabhängige Audits durch.
Vertiefung II — Rechtliche Abhilfemechanismen bei algorithmischer Diskriminierung
Wenn ein KI-System diskriminierend agiert, stehen Betroffenen in Deutschland verschiedene Rechtswege offen:
Zivilrechtliche Ansprüche nach AGG: § 21 AGG gibt Betroffenen das Recht auf Beseitigung und Unterlassung einer Benachteiligung sowie auf Schadensersatz. Die Beweislast ist zu Gunsten der Betroffenen erleichtert: Wenn Indizien eine Diskriminierung wahrscheinlich machen, muss der Beklagte beweisen, dass kein Verstoß gegen das Benachteiligungsverbot vorliegt (§ 22 AGG). Dies ist bei algorithmischen Systemen besonders relevant, weil Klägerinnen und Kläger oft keinen Einblick in das System haben.
Art. 22 DSGVO — Recht auf Erklärung: Bei automatisierten Einzelentscheidungen hat die betroffene Person das Recht, eine Erklärung zu erhalten und die Entscheidung durch einen Menschen überprüfen zu lassen. Dieses Recht ist unmittelbar anspruchsbegründend — es kann vor Gericht eingeklagt werden.
Art. 85 EU AI Act — Recht auf Erklärung: Ab August 2026 haben natürliche Personen das Recht, von Deployers eine Erklärung zu einer Entscheidung zu verlangen, die durch ein Hochrisiko-KI-System unterstützt oder getroffen wurde. Dieser neue Rechtsbehelf ergänzt Art. 22 DSGVO.
Kollektiver Rechtsschutz: In Deutschland können Antidiskriminierungsverbände seit dem AGG-Reformgesetz (2021) auch Verbandsklagen erheben — ohne konkrete Einzelbetroffene. Dies erhöht das Klägerrisiko für Unternehmen, die systemische Diskriminierung durch KI-Systeme nicht adressieren.
Zusammenfassung UE 22
Bias in KI-Systemen entsteht aus vier Hauptquellen: historischen Trainingsdaten, Messinstrumenten, Repräsentation und Aggregation. Der Amazon-Hiring-Tool-Fall (2018) und das COMPAS-System (ProPublica, 2016) sind die klassischen Praxisbeispiele. Fairness-Metriken — Demographic Parity, Equal Opportunity, Individual Fairness — quantifizieren Bias, können aber nicht gleichzeitig optimiert werden (Fairness-Unmöglichkeitstheorem). Das AGG schützt Beschäftigte und Bewerber vor unmittelbarer und mittelbarer Diskriminierung — auch durch KI. Art. 10 EU AI Act verpflichtet Anbieter von Hochrisiko-KI zur Bias-Prüfung der Trainingsdaten. Tools wie Microsoft Fairlearn und IBM AI Fairness 360 unterstützen bei der Bias-Analyse. Bias-Auditing sollte als regulärer Bestandteil des Systemlebenszyklus implementiert werden — nicht als einmalige Maßnahme.
Querverweise zu anderen UEs
Bias und Fairness (UE 22) sind die Schnittstelle zwischen Ethik (UE 21), Regulierung (AI Act Art. 10, UE 16) und Arbeitsrecht (AGG). Für HR-KI (Hochrisiko nach Anhang III Nr. 4) ist Bias-Auditing nicht optional, sondern regulatorische Pflicht. Die Verbindung zur Betriebsvereinbarung (UE 23) liegt in § 6 der Mustergliederung (Verbot diskriminierender Systeme). In der Fallstudie (UE 24) bildet UE 22 Block D der Prüfung.
Abschlussbetrachtung — Verantwortungsvolle KI-Nutzung als Organisationsprinzip
Verantwortungsvolle KI-Nutzung ist kein bürokratisches Hindernis, sondern ein strategischer Vorteil: Organisationen, die nachweislich sorgfältig mit KI-Systemen umgehen, gewinnen das Vertrauen von Kund:innen, Partner:innen und Regulierungsbehörden. Dies zahlt sich mittel- und langfristig in Form von Reputation, Kundenbindung und geringeren Compliance-Risiken aus. Für die tägliche Arbeit bedeutet dies, dass jede KI-gestützte Entscheidung dokumentiert und überprüfbar sein sollte — nicht als Mehraufwand, sondern als professioneller Standard. Nutzen Sie die in dieser Einheit vorgestellten Werkzeuge und Checklisten, um verantwortungsvolle KI-Nutzung zur Routine zu machen. Sensibilisieren Sie auch Kolleg:innen für potenzielle Risiken, und teilen Sie Best Practices aktiv im Team. Langfristiges Ziel ist eine Organisationskultur, in der ethische KI-Nutzung selbstverständlich ist — getragen von allen Mitarbeitenden, nicht nur von einer spezialisierten Compliance-Funktion.
Reflexionsfragen
- Warum kann ein System, das keine geschützten Merkmale direkt verwendet, trotzdem diskriminieren?
- Wer sollte entscheiden, welche Fairness-Metrik für ein KI-System gelten soll?
- Wie würden Sie als Führungskraft reagieren, wenn ein Bias-Audit zeigt, dass ein eingesetztes System diskriminiert — aber das System insgesamt effizient und profitabel ist?
- Was sind die Grenzen von technischen Tools wie Fairlearn bei der Bekämpfung von Bias?
- Welche Rolle spielt Transparenz bei der Bekämpfung von Bias — können Nutzer effektiv gegen Bias vorgehen, wenn sie nicht wissen, welche Systeme eingesetzt werden?
- Bias-Monitoring nach Go-Live ist aufwendig, aber entscheidend. Welche einfachen Kennzahlen würden Sie in einem monatlichen Bias-Monitoring-Report für ein HR-KI-System erheben — und wer in der Organisation sollte diesen Report erhalten?
- Das Konzept der algorithmischen Fairness kennt verschiedene, teils widersprüchliche Definitionen (Demographic Parity, Equal Opportunity, Individual Fairness). Warum ist die Wahl des Fairness-Kriteriums eine normative Entscheidung — und wer sollte sie in einer Organisation treffen?
Die gesellschaftliche Dimension von KI-Bias
KI-Bias ist kein technisches Problem — es ist ein gesellschaftliches Problem, das technische Dimensionen hat. Gesellschaftliche Ungleichheiten, die in historischen Daten eingeschrieben sind, werden durch KI-Systeme perpetuiert und verstärkt — falls keine bewussten Gegenmaßnahmen ergriffen werden.
Strukturelle Diskriminierung und KI: Wenn historische Einstellungsdaten einer Branche zeigen, dass Frauen seltener für Führungspositionen ausgewählt wurden, lernt ein auf diesen Daten trainierter KI-Recruiter: Frauen sind für Führungspositionen weniger geeignet. Das ist statistisch korrekt auf Basis der historischen Daten — und ethisch falsch.
Intersektionalität: Bias kann sich an mehreren Merkmalen gleichzeitig manifestieren. Eine Person, die sowohl einer ethnischen Minderheit angehört als auch weiblich und über 50 ist, kann durch mehrere Bias-Dimensionen gleichzeitig benachteiligt werden — ein Effekt, der isolierte Fairness-Tests nach einzelnen Merkmalen übersehen.
KI als Spiegel der Gesellschaft: KI-Systeme sind keine neutralen Objekte — sie reflektieren die Werte, Prioritäten und Ungleichheiten der Gesellschaft, in der sie entstehen. Dies bedeutet: Bias-Auditing allein reicht nicht. Gesellschaftliche Ungleichheiten müssen in den Trainingsdaten bewusst adressiert werden — durch Over-Sampling unterrepräsentierter Gruppen, Re-Weighting und andere Mitigation-Strategien.
Merksatz zu UE 22: Bias-Prüfung ist keine einmalige Aufgabe vor dem Deployment — sie ist ein kontinuierlicher Prozess. KI-Systeme und die Welt, in der sie eingesetzt werden, verändern sich. Bias-Muster können entstehen, die beim Deployment noch nicht vorhanden waren.
Quellen & Weiterlesen
| Quelle | Typ | URL |
| ProPublica — COMPAS-Analyse (2016) | Studie | https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing |
| Amazon Hiring Tool — Reuters (2018) | Studie | https://www.youtube.com/watch?v=TPnjDxl4Mbs |
| EU AI Act Art. 10 — Datenpflichten Hochrisiko | Primärrecht | https://eur-lex.europa.eu/legal-content/DE/TXT/?uri=CELEX:32024R1689 |
| Microsoft Fairlearn (Open Source) | Hersteller-Doc | https://fairlearn.org/ |
| IBM AI Fairness 360 | Hersteller-Doc | https://github.com/Trusted-AI/AIF360 |
| AGG — Allgemeines Gleichbehandlungsgesetz | Norm | https://www.gesetze-im-internet.de/agg/ |
| Chouldechova (2017) — Fair Prediction with Disparate Impact | Lehrbuch | https://arxiv.org/abs/1703.00056 |
Ergänzung: Rechtliche Abhilfemechanismen bei algorithmischer Diskriminierung
Wenn ein KI-System diskriminierend agiert, stehen in Deutschland verschiedene Rechtswege offen:
Zivilrechtliche Ansprüche nach AGG: § 21 AGG gibt Betroffenen das Recht auf Beseitigung und Unterlassung sowie Schadensersatz. Die Beweislast ist zu Gunsten der Betroffenen erleichtert (§ 22 AGG): Wenn Indizien eine Diskriminierung wahrscheinlich machen, muss der Beklagte beweisen, dass kein Verstoß vorliegt.
Art. 22 DSGVO — Recht auf Erklärung: Bei automatisierten Einzelentscheidungen hat die betroffene Person das Recht auf Erklärung und menschliche Überprüfung.
Art. 85 EU AI Act — Recht auf Erklärung: Ab August 2026 haben natürliche Personen das Recht, von Deployers eine Erklärung zu einer Entscheidung zu verlangen, die durch ein Hochrisiko-KI-System unterstützt oder getroffen wurde.
Verbandsklagen: Antidiskriminierungsverbände können seit dem AGG-Reformgesetz auch Verbandsklagen erheben — ohne konkrete Einzelbetroffene. Dies erhöht das Klägerrisiko für Unternehmen, die systemische Diskriminierung nicht adressieren.
Bias-Monitoring-Checkliste:
| Monitoring-Maßnahme | Häufigkeit | Verantwortliche Rolle |
| Disparitätsanalyse nach demografischen Gruppen | Monatlich | KI-Verantwortliche/-r |
| Accuracy-Analyse nach Subgruppen | Quartalsweise | Data Scientist |
| Stakeholder-Feedback-Auswertung | Halbjährlich | HR / Compliance |
| Externes Audit | Jährlich | Unabhängige Prüfstelle |
| Re-Training-Entscheidung | Bei Drift-Erkennung | KI-Team + Führung |
Trainer-Hinweise
Bias-Prävention im Beschaffungsprozess
Der effektivste Zeitpunkt, um KI-Bias zu adressieren, ist vor der Beschaffung eines Systems — nicht danach. Stellen Sie im Beschaffungsprozess folgende Fragen an Anbieter:
Technische Fragen: - Auf welchen Trainingsdaten wurde das Modell trainiert? - Wurden Bias-Audits durchgeführt? Mit welchen Ergebnissen? - Welche Fairness-Metriken wurden verwendet? - Wie wurden identifizierte Biases mitigiert?
Governance-Fragen: - Gibt es ein regelmäßiges Post-Deployment-Bias-Monitoring? - Wie wird der Deployer bei identifizierten Bias-Problemen informiert? - Gibt es Sandbox-Umgebungen, in denen Deployer das System auf Bias testen können?
Vertragliche Fragen: - Übernimmt der Anbieter Haftungsanteile bei Bias-bedingten Schäden? - Verpflichtet sich der Anbieter zu regelmäßigen Bias-Audits und zur Offenlegung der Ergebnisse?
Anbieter, die auf diese Fragen ausweichend oder defensiv antworten, sind als Lieferanten von Hochrisiko-KI nicht geeignet.
Bias-Dokumentation und Transparenz
Art. 10 AI Act verpflichtet Anbieter von Hochrisiko-KI, bias-relevante Aspekte zu dokumentieren. Deployer sollten diese Dokumentation anfordern und in ihre eigene Compliance-Dokumentation integrieren:
Was sollte die Bias-Dokumentation enthalten?
- Trainingsdaten-Beschreibung: Woher stammen die Trainingsdaten? Welche demografischen Gruppen sind repräsentiert? Welche möglicherweise unterrepräsentiert?
- Bias-Audit-Ergebnisse: Welche Fairness-Metriken wurden berechnet? Für welche Gruppen? Mit welchen Ergebnissen?
- Mitigation-Maßnahmen: Welche Bias-Mitigation-Algorithmen wurden eingesetzt? Mit welchem Effekt?
- Residual Bias: Welcher Bias verbleibt nach Mitigation? Warum ist dieser akzeptabel?
- Monitoring-Plan: Wie wird der Bias des Systems im laufenden Betrieb überwacht?
Für Deployer: Wenn Sie einen Anbieter nach dieser Dokumentation fragen und er sie nicht liefern kann, sollten Sie die Nutzung des Systems in Hochrisiko-Kontexten (insbesondere HR) ernsthaft überdenken.
Bias und Erklärbarkeit — der Zusammenhang
Bias und Erklärbarkeit hängen eng zusammen: Ein nicht erklärbares KI-System kann auch nicht auf Bias geprüft werden — zumindest nicht vollständig. Wenn ein Black-Box-Modell eine Entscheidung trifft, weiß niemand genau, warum. Das macht es unmöglich, systematisch festzustellen, ob diskriminierende Merkmale die Entscheidung beeinflusst haben.
Deshalb ist der Trend zu erklärbarer KI (Explainable AI, XAI) nicht nur eine ethische Forderung — er ist eine praktische Voraussetzung für Bias-Auditing. Für Hochrisiko-HR-Entscheidungen sollten nur erklärbare Modelle eingesetzt werden.
Praxishinweis: Beginnen Sie Bias-Auditing mit dem einfachsten Anwendungsfall: Testen Sie Ihr KI-System mit identischen Anfragen, die sich nur in demografischen Merkmalen (Name, Geschlecht, Herkunft) unterscheiden. Wenn die Outputs systematisch abweichen, ist ein vertiefter Bias-Audit dringend erforderlich.
Hinweise für AI Champions — So vermitteln Sie das Thema UE 22
Timing: 45 Minuten — 15 Min. Bias-Quellen + Fallbeispiele, 10 Min. Fairness-Metriken, 20 Min. Übungen.
Methodik: Amazon- und COMPAS-Fälle als Einstieg — beide sind konkret, real und emotional zugänglich. Dann systematisch die Bias-Quellen herleiten. Fairness-Metriken anhand von einfachen Zahlenbeispielen erklären (nicht Formeln — Tabellen).
Stolpersteine: Das Fairness-Unmöglichkeitstheorem ist für viele überraschend und zunächst schwer zu akzeptieren. Betonen: Es ist kein Argument gegen KI-Fairness, sondern ein Argument dafür, dass Fairness-Entscheidungen bewusst und politisch getroffen werden müssen — nicht technisch versteckt.
Diskussionsfragen: Was wäre, wenn alle KI-Entscheidungen öffentlich nachvollziehbar sein müssten? Wie würde das Bias-Problem verändern? Gibt es Situationen, in denen Bias bewusst eingebaut werden sollte (z. B. Affirmative Action)?
Tafelbild: Vier Bias-Quellen als Kreisdiagramm. Fairness-Metriken als Tabelle mit Zahlenbeispiel. Legal-Compliance-Verantwortlichkeit.
Differenzierung: Für Gruppen mit Statistik-Hintergrund: Formeln für TPR, FPR, Precision einbringen. Für nicht-technische Gruppen: Ausschließlich intuitive Beispiele nutzen.
Materialliste: Flipchart, COMPAS-Fallkarte, Fairness-Zahlenbeispiel als 1-Pager.
Übergang zu UE 23: „Wir wissen jetzt, dass KI diskriminieren kann. Doch wer schützt Mitarbeitende im Unternehmen, wenn KI in HR-Prozesse eingreift? Der Betriebsrat — und das BetrVG gibt ihm starke Instrumente.”
Branchenauswahl-Tipp: Für Finanzgruppen: Kreditvergabe-Bias ist das direkteste Beispiel. Für öffentliche Verwaltung: Prädiktive Polizeiarbeit und Sozialleistungsentscheidungen.
KI-Bias im Kundenkontext — Risiken und Maßnahmen
KI-Bias betrifft nicht nur das Arbeitsverhältnis — er wirkt sich auch im Kundenkontakt aus:
Kreditvergabe und Versicherung: Wenn KI-gestützte Kreditscoring- oder Versicherungssysteme bestimmte Kundengruppen systematisch schlechter bewertet, entstehen AGG-Ansprüche und regulatorische Risiken (Anhang III Nr. 5 AI Act).
Produktempfehlungen: Wenn KI-Empfehlungssysteme bestimmten Kundengruppen systematisch teurere oder minderwertigere Produkte empfehlen (z. B. basierend auf dem Wohnort als Proxy für Ethnizität), ist das als mittelbare Diskriminierung einstufbar.
Preisdiskriminierung: Wenn dynamische Preisalgorithmen bestimmten Kundengruppen höhere Preise berechnen, ohne dass dafür objektive, nicht-diskriminierende Gründe vorliegen, entstehen Probleme nach UWG und möglicherweise AGG.
Kundenservice-KI: Wenn ein Chatbot bestimmten Kundengruppen weniger hilfreich antwortet (z. B. aufgrund sprachlicher Einschränkungen oder sozialer Signale), kann das indirekte Diskriminierung darstellen.
Maßnahmen: Regelmäßige Bias-Audits nicht nur für HR-KI, sondern auch für kundenbezogene KI-Systeme. Kundenbeschwerden zu KI-Entscheidungen systematisch auswerten auf Bias-Muster.
Quelle: KI-Wissensbasis von MindsMachines, Edition Juni 2026. Vollständige Fassung mit Anhängen und Musterlösungen: als PDF anfordern.
Zurück zur Modul-Übersicht