Datenbereinigung mit KI (Dubletten, Formate, Validierung)

Lernziele

Sie können typische Qualitätsprobleme in Rohdaten (Dubletten, inkonsistente Formate, fehlende Pflichtfelder, Ausreißer, Encoding-Fehler) erkennen und benennen.

Sie können den Code Interpreter (Advanced Data Analysis) in ChatGPT für eine strukturierte Datenbereinigung einsetzen, ohne selbst Python-Code schreiben zu müssen.

Sie können die Grenzen automatischer KI-Bereinigung einschätzen und wissen, in welchen Fällen manuelle Nachprüfung zwingend erforderlich ist.

Sie können erklären, warum Produktivdaten vor dem Upload in externe KI-Tools anonymisiert oder pseudonymisiert werden müssen.

Sie können einen bereinigten Datensatz stichprobenartig gegen das Original prüfen und Dokumentationsstandards für Bereinigungsänderungen anwenden.

Sie können Fuzzy-Matching für unscharfe Dubletten einsetzen und die Trade-offs verschiedener Ähnlichkeitsschwellenwerte beurteilen.

Auf einen Blick

Worum geht es? — Der didaktische Einstieg

Jeder, der jemals einen CRM-Export oder einen manuell gepflegten Excel-Datensatz analysiert hat, kennt das Problem: Dieselbe Firma erscheint als „Müller GmbH”, „Mueller GmbH” und „Müller GmbH ” (mit einem Leerzeichen am Ende). Datumsangaben wechseln zwischen „01.04.2025” und „2025-04-01”. In der Spalte „Umsatz” stehen plötzlich Textwerte wie „n.v.” neben Zahlen. Und die Spalte „E-Mail” enthält zehn Einträge ohne @-Zeichen.

Das manuelle Bereinigen solcher Datensätze ist zeitraubend, fehleranfällig und macht keinen Spaß. Bei einem 500-Zeilen-Datensatz dauert es Stunden; bei einem 10.000-Zeilen-Datensatz ist es praktisch nicht mehr manuell zu bewältigen.

Genau hier liegt der Durchbruch, den KI-Tools mit Code-Ausführungsfähigkeit bieten: Sie können einen Datensatz hochladen, eine natürlichsprachliche Bereinigungsanweisung formulieren, und das System führt den entsprechenden Python-Code aus — ohne dass Sie Python beherrschen müssen. Das Ergebnis: ein bereinigter Datensatz zum Download, inklusive Bericht über die vorgenommenen Änderungen, in unter 15 Minuten.

Diese UE zeigt Ihnen diesen Workflow Schritt für Schritt — und macht Sie gleichzeitig mit den wichtigsten Fallstricken vertraut: denn automatische Bereinigung kann auch Fehler erzeugen, wenn die Anweisung nicht präzise genug ist.

Lerntext — Theorie und Konzepte

Die sechs häufigsten Datenqualitätsprobleme

Bevor Sie einen Bereinigungsauftrag an eine KI formulieren können, müssen Sie wissen, welche Probleme typischerweise auftreten:

1. Exakte Dubletten: Identische Zeilen, die mehrfach vorkommen — typisch bei Datenbankexporten ohne DISTINCT-Filterung oder bei manuellem Zusammenführen mehrerer Tabellen.

2. Unscharfe Dubletten (Fuzzy Duplicates): Zeilen, die denselben Datensatz repräsentieren, aber in einem oder mehreren Feldern leicht abweichen — Tippfehler, unterschiedliche Schreibweisen, Abkürzungen vs. ausgeschriebene Namen.

3. Inkonsistente Formate: Dasselbe Datum in verschiedenen Formaten in einer Spalte, Telefonnummern mit und ohne Ländervorwahl, Postleitzahlen mit führenden Nullen als Text vs. als Zahl.

4. Fehlende Pflichtfelder: NULL-Werte, leere Zellen oder Platzhalter wie „n.v.”, „—“, „TBD” in Spalten, die für Berechnungen oder Exporte benötigt werden.

5. Ausreißer: Statistisch unplausible Werte, die auf Dateneingabefehler hinweisen — negative Umsätze, Arbeitszeiten über 24 Stunden pro Tag, Postleitzahlen mit falscher Stellenanzahl.

6. Zeichensatz- und Encoding-Probleme: Sonderzeichen (Umlaute, Akzente) erscheinen als Fragezeichen oder Kästchen — besonders häufig beim Import aus alten Systemen oder bei CSV-Dateien mit falschem Encoding (Windows-1252 vs. UTF-8).

Merksatz

Datenqualität ist keine technische Nebensache — fehlerhafte Daten führen zu falschen Analysen und falschen Entscheidungen. Die goldene Regel: Immer eine Kopie des Originals behalten, bevor eine Bereinigung durchgeführt wird.

Code Interpreter / Advanced Data Analysis in ChatGPT

Der Code Interpreter (in ChatGPT unter dem Namen „Advanced Data Analysis” verfügbar) ist eine Funktion, die es dem Modell erlaubt, echten Python-Code in einer isolierten Serverumgebung auszuführen. ChatGPT führt keine statistischen Berechnungen durch Textwahrscheinlichkeit durch — es schreibt Python-Code, der von einem echten Python-Interpreter ausgeführt wird.

Der Bereinigungsworkflow mit Code Interpreter läuft in drei Schritten ab:

Schritt 1 — Hochladen: Sie laden die CSV- oder XLSX-Datei direkt in den ChatGPT-Chat. Unterstützte Formate: CSV, XLSX, JSON. Maximale Dateigröße: ca. 50 MB.

Schritt 2 — Explorativer Analyse-Prompt: Bevor Sie Bereinigungsanweisungen geben, fordern Sie zunächst einen Überblick an:

„Analysiere diesen Datensatz. Zeige mir: 1) Anzahl der Zeilen und Spalten, 2) Spalten mit fehlenden Werten und deren Anteil, 3) mögliche Dubletten anhand der Spalte ‘Kundennummer’, 4) Datum-Spalten mit inkonsistenten Formaten, 5) verdächtige Ausreißer in numerischen Spalten.”

ChatGPT führt pandas-Code aus und liefert einen strukturierten Bericht mit Beispielwerten. Dieser Bericht ist Ihre Grundlage für die folgende Bereinigungsphase.

Schritt 3 — Bereinigungsauftrag: Auf Basis des Überblick-Berichts formulieren Sie gezielte Bereinigungsanweisungen:

„Bereinige diesen Datensatz wie folgt: 1) Entferne exakte Zeilendubletten. 2) Standardisiere alle Datum-Spalten auf das Format YYYY-MM-DD. 3) Entferne Leerzeichen am Anfang und Ende aller Text-Spalten. 4) Ersetze in der Spalte ‘Umsatz’ alle nicht-numerischen Werte (z. B. ‘n.v.’) durch NULL. 5) Exportiere das Ergebnis als CSV-Datei zum Download.”

Abb. 50.1 — KI-gestützte Datenbereinigungs-Pipeline von Rohdaten zum validierten Datensatz

Claude für große Datensätze

Für Datensätze mit mehr als 10.000 Zeilen bietet Claude (Anthropic) eine starke Alternative zu ChatGPT, da das Kontextfenster von Claude 4 Sonnet deutlich größer ist (ca. 200.000 Token gegenüber 128.000 Token bei GPT-4o). Der Bereinigungsworkflow ist identisch; der Hauptvorteil besteht darin, dass Claude auch komplexe, mehrspaltige Bereinigungsaufgaben bei größeren Datensätzen ohne Abschneiden des Kontextfensters bewältigen kann. Weitere Informationen zur Claude-Dokumentation finden Sie unter Anthropic Claude Dokumentation.

Fuzzy-Matching — unscharfe Dubletten finden

Unscharfe Dubletten sind die technisch herausforderndste Bereinigungsaufgabe. Für Fuzzy-Matching — das Finden ähnlicher, aber nicht identischer Einträge — kann Code Interpreter Python-Bibliotheken wie fuzzywuzzy oder rapidfuzz einsetzen. Prompt:

„Identifiziere mögliche unscharfe Dubletten in der Spalte ‘Firmenname’ mit einem Ähnlichkeitsschwellenwert von 85 %. Zeige die gefundenen Paare mit ihren jeweiligen Ähnlichkeitswerten in einer Tabelle an, aber führe keine automatische Zusammenführung durch — ich möchte jeden Fall einzeln prüfen.”

Der letzte Satz ist entscheidend: Bei unscharfen Dubletten sollte die KI identifizieren und melden, aber nicht automatisch zusammenführen, da falsch-positive Treffer zu Datenverlust führen können.

Merksatz

Fuzzy-Matching ist kein automatischer Entscheidungsprozess — es ist ein Identifikations-Werkzeug. Die Entscheidung, ob zwei ähnliche Einträge wirklich denselben Datensatz repräsentieren, erfordert immer menschliches Urteilsvermögen.

Qualitätssicherung — der Stichprobencheck

Automatisch bereinigte Daten müssen stichprobenartig geprüft werden. Empfohlene Methode:

Wählen Sie zufällig fünf bis zehn Zeilen aus dem bereinigten Datensatz.

Vergleichen Sie diese Zeilen mit den entsprechenden Zeilen im Originalexport.

Prüfen Sie, ob die Bereinigungsoperationen korrekt durchgeführt wurden.

Prüfen Sie, ob die Bereinigung keine unbeabsichtigten Änderungen vorgenommen hat.

Vertiefung — Encoding-Probleme und Bereinigungsdokumentation

Encoding-Probleme: CSV-Dateien können in unterschiedlichen Zeichensätzen kodiert sein. Das häufigste Problem in der deutschen Praxis ist die Konfusion zwischen Windows-1252 (Standard-Encoding von Microsoft Excel bei CSV-Exporten) und UTF-8 (internationaler Standard). Symptome: Umlaute erscheinen als „ü” (für ü) oder als leere Kästchen. Lösung über KI: „Lies diese CSV-Datei mit dem Encoding Windows-1252 und exportiere sie als neue CSV-Datei mit UTF-8-Encoding, ohne den Inhalt zu verändern.”

Automatisierung der Bereinigungsdokumentation: Welche Änderungen wurden wann und warum vorgenommen? Diese Dokumentation ist für Nachvollziehbarkeit und Reproduzierbarkeit entscheidend. Prompt für automatische Dokumentation: „Führe die Bereinigung durch und erstelle gleichzeitig ein Protokoll der Änderungen in folgendem Format: Datum | Spalte | Vorher-Wert | Nachher-Wert | Bereinigungsregel. Exportiere das Protokoll als separate CSV-Datei.”

Grenzen der automatischen Bereinigung: Fachliches Kontextwissen fehlt der KI — sie weiß nicht, dass in Ihrer Branche ein Stundensatz unter 20 € unplausibel ist. Fuzzy-Matching ist keine Entscheidung. Die KI kann fehlende Werte nicht inhaltlich ergänzen. Änderungen sind schwer rückgängig zu machen, wenn das Original nicht gespeichert wurde.

Branchen-Anwendungen

IT-Dienstleistung & Beratung

In IT-Beratungshäusern fallen regelmäßig Bereinigungsaufgaben an: CRM-Exporte mit doppelten Kontakten und inkonsistenten Telefonnummernformaten, Projektmanagement-Exporte mit Datumsfeldern in unterschiedlichen Formaten, Angebots-Datenbanken, die aus mehreren Quellen konsolidiert werden und dabei Formatinkonsistenzen erzeugen. Mit dem Code Interpreter lässt sich ein 500-Zeilen-Export in unter 15 Minuten bereinigen. Ein Berater beschreibt die Anforderungen natürlichsprachlich: „Standardisiere alle Telefonnummern auf das Format +49XXXXXXXXXX, entferne Duplikate anhand der E-Mail-Spalte, ersetze alle Einträge ‘n.a.’ in der Umsatzspalte durch NULL.” Das Ergebnis ist ein dokumentierter, bereinigter Datensatz — ohne Excel-Makro-Kenntnisse.

Industrie & Fertigung

In produzierenden Unternehmen entstehen Datenqualitätsprobleme typischerweise bei der Konsolidierung von Daten aus verschiedenen Maschinen und Produktionslinien: unterschiedliche Zeitstempel-Formate (je nach Steuerungssystem), Messwerte mit unterschiedlichen Einheitenbezeichnungen (z. B. „45 kg” vs. 45 als Zahl), fehlende Werte bei Schichtübergaben, Ausreißer durch Messgerätefehler. Die KI-gestützte Bereinigung kann für jeden dieser Fälle eine gezielte Bereinigungsroutine generieren. Besonders wertvoll: Die generierten Python-Skripte können für zukünftige Exporte aus denselben Maschinen direkt wiederverwendet werden — einmal entwickelt, dauerhaft einsetzbar.

Finanzdienstleistung & Versicherung

In Banken und Versicherungen sind Datenqualitätsprobleme besonders kritisch: Transaktionsdaten mit fehlenden Buchungscodes, Kundendaten mit inkonsistenten Identifikatoren, Portfoliodaten mit verschiedenen Bewertungsmethoden in einer Tabelle. KI-gestützte Bereinigung muss hier besonders sorgfältig eingesetzt werden, da fehlerhaft bereinigte Finanzdaten Compliance-Risiken erzeugen. Die empfohlene Praxis: Bereinigungsschritte einzeln ausführen (nicht alle auf einmal), jeden Schritt gegen eine manuelle Stichprobe prüfen, Bereinigungsprotokoll für Audit-Zwecke aufbewahren. Besonders relevant: Fuzzy-Matching für Kundennamen-Vereinheitlichung, das für die Betrugserkennung eingesetzt wird.

Öffentliche Verwaltung

In Behörden entstehen Datenqualitätsprobleme häufig durch den Einsatz verschiedener IT-Systeme, die über Jahrzehnte gewachsen sind: Meldedaten aus Altsystemen mit unterschiedlichen Zeichensätzen, Förderdaten mit verschiedenen Beantragungsformularen und damit inkonsistenten Feldbezeichnungen, Statistikdaten aus verschiedenen Berichtsjahren mit geänderten Klassifikationen. KI-gestützte Bereinigung kann auch hier erhebliche Arbeit abnehmen — unter der Bedingung, dass die Datenschutzprüfung vorab erfolgt ist. Für Verwaltungsdaten mit Personenbezug ist Copilot M365 (verbleibt im eigenen Tenant) oder eine anonymisierte Arbeitskopie die richtige Wahl.

Übung 1 — Datensatz-Analyse und Bereinigungsplanung

Übung 1 — Explorative Analyse und Bereinigungsauftrag

Aufgabe: Sie erhalten den anonymisierten Übungsdatensatz (500 Zeilen, mit absichtlich eingebauten Qualitätsproblemen). Laden Sie die Datei in ChatGPT Advanced Data Analysis hoch und fordern Sie einen vollständigen Qualitätsbericht an. Identifizieren Sie mindestens vier Kategorien von Qualitätsproblemen und formulieren Sie für jede einen Bereinigungsauftrag.

Material: ChatGPT Plus- oder Team-Account, Übungsdatei (vom Trainer bereitgestellt, CSV-Format, anonymisiert).

Schritt-für-Schritt: 1. Öffnen Sie chat.openai.com und wählen Sie „GPT-4o” mit aktiviertem Advanced Data Analysis. 2. Laden Sie die Datei per Büroklammer-Icon in den Chat hoch. 3. Senden Sie den explorativen Analyse-Prompt (vollständiger Überblick). 4. Lesen Sie den Analysebericht sorgfältig. Notieren Sie die gefundenen Probleme. 5. Formulieren Sie einen Bereinigungsauftrag für mindestens vier der gefundenen Probleme. 6. Geben Sie den Bereinigungsauftrag ein und warten Sie auf den bereinigten Datensatz zum Download. 7. Führen Sie eine Stichprobenprüfung durch: Öffnen Sie die bereinigte Datei, wählen Sie fünf zufällige Zeilen und prüfen Sie gegen den Originaldatensatz.

Erwartetes Ergebnis: Ein dokumentierter Qualitätsbericht mit mindestens vier identifizierten Problemen, ein bereinigter Datensatz als Download, und ein schriftlicher Stichprobenbericht.

Musterlösung:

Typische Qualitätsprobleme: doppelte Kundennummern (exakte Dubletten), Datumsfeld in gemischten Formaten, Text-Leerzeichen in der Firmennamen-Spalte, Umsatz-Spalte mit dem Texteintrag „k.A.” für fehlende Werte, E-Mail-Spalte mit syntaktisch ungültigen Einträgen.

Beispiel-Bereinigungsauftrag: > „Bereinige den Datensatz: 1) Entferne exakte Zeilendubletten anhand der Spalte ‘Kundennummer’. 2) Standardisiere alle Werte in der Spalte ‘Anlagedatum’ auf das Format YYYY-MM-DD. 3) Entferne führende und abschließende Leerzeichen in der Spalte ‘Firmenname’. 4) Ersetze in der Spalte ‘Umsatz’ alle nicht-numerischen Werte durch NULL. 5) Exportiere das bereinigte Ergebnis als CSV.”

Übung 2 — Fuzzy-Matching für Firmennamen

Übung 2 — Unscharfe Dubletten mit Schwellenwert-Analyse

Aufgabe: Sie sollen mögliche unscharfe Dubletten in der Spalte „Firmenname” des Übungsdatensatzes identifizieren. Formulieren Sie einen Fuzzy-Matching-Prompt, der Ähnlichkeitspaare mit einem Schwellenwert von 85 % ausgibt, aber keine automatische Zusammenführung vornimmt. Beurteilen Sie anschließend fünf der gefundenen Paare manuell.

Material: Wie Übung 1; bereinigter Datensatz aus Übung 1 kann verwendet werden.

Schritt-für-Schritt: 1. Verwenden Sie den bereits hochgeladenen oder neu hochgeladenen Datensatz im Code Interpreter. 2. Geben Sie den Fuzzy-Matching-Prompt ein (Schwellenwert 85 %, keine automatische Zusammenführung). 3. Betrachten Sie die ausgegebene Tabelle mit Dubletten-Kandidaten. 4. Wählen Sie fünf Paare aus und beurteilen Sie für jedes: echte Dublette oder falsch-positiv? 5. Dokumentieren Sie Ihre Einschätzungen in einer kurzen Tabelle (Paar, Einschätzung, Begründung). 6. Diskutieren Sie: Welchen Schwellenwert würden Sie für diesen Datensatz wählen?

Erwartetes Ergebnis: Eine Tabelle mit Dubletten-Kandidaten, eine manuelle Beurteilung von fünf Paaren und eine begründete Schwellenwert-Empfehlung.

Musterlösung: Bei einem typischen deutschen Firmennamens-Datensatz ist ein Schwellenwert von 85–90 % sinnvoll. Niedrigere Werte (< 80 %) erzeugen zu viele falsch-positive Paare; höhere Werte (> 95 %) übersehen echte Dubletten mit Tippfehlern. Die manuelle Prüfung bleibt unerlässlich, da Fuzzy-Matching nicht die geschäftliche Realität kennt — zwei Firmen können denselben ähnlichen Namen haben und trotzdem verschiedene Entitäten sein.

Cheatsheet — Die wichtigsten Punkte

6 Problemklassen: Dubletten · Formate · Pflichtfelder · Ausreißer · Encoding · Schreibweisen

Erst analysieren: Immer explorativen Überblick vor Bereinigungsauftrag anfordern

Original behalten: Bereinigte Datei niemals das Original überschreiben lassen

Fuzzy ≠ automatisch: Unscharfe Dubletten identifizieren lassen, manuell prüfen, dann zusammenführen

Stichproben-Pflicht: 5–10 Zeilen des bereinigten Datensatzes gegen Original prüfen

Datenschutz zuerst: Personenbezogene Daten vor Upload anonymisieren (Details: UE 55)

Encoding beachten: CSV immer mit explizitem Encoding (UTF-8) exportieren

Änderungen dokumentieren: Was wurde bereinigt, warum, wann — Protokoll exportieren lassen

Grenzen kennen: KI kennt kein fachliches Kontextwissen — Geschäftsregeln explizit im Prompt angeben

Reflexionsfragen

Welche Datenqualitätsprobleme treten in Ihrem Arbeitsbereich am häufigsten auf — und welche dieser Probleme könnten mit dem Code Interpreter automatisiert werden?

Nennen Sie zwei Szenarien, in denen automatische KI-Bereinigung gefährlich sein könnte und manuelle Prüfung zwingend erforderlich ist.

Wie würden Sie einen Bereinigungsworkflow so dokumentieren, dass er von einer Kollegin oder einem Kollegen reproduziert werden kann?

Was sind die Grenzen des Fuzzy-Matchings — wann kann ein Algorithmus nicht entscheiden, ob zwei Einträge identisch sind?

Welche internen Richtlinien oder Abstimmungen wären in Ihrer Organisation notwendig, bevor ein automatisierter Bereinigungsworkflow für Produktivdaten eingeführt wird?

Vertiefung — Automatisierte Datenbereinigung mit Python und pandas

Für größere Datensätze (>5.000 Zeilen) ist Excel an seine Grenzen gestoßen. Python mit der pandas-Bibliothek bietet leistungsfähigere Bereinigungsoptionen — und KI kann die nötigen Code-Blöcke vollständig generieren.

Typischer KI-gestützter Bereinigungsworkflow mit pandas:

Schritt 1: import pandas as pd — Bibliothek laden Schritt 2: df = pd.read_csv('datensatz.csv', encoding='utf-8-sig') — Datei einlesen Schritt 3: df = df.drop_duplicates() — Dubletten entfernen Schritt 4: df['Spalte'] = df['Spalte'].str.strip().str.title() — Schreibweise vereinheitlichen Schritt 5: df['Datum'] = pd.to_datetime(df['Datum'], dayfirst=True, errors='coerce') — Datum normalisieren

Wichtig: Diesen Code nicht blind ausführen. Lassen Sie KI den Code erklären und testen Sie ihn auf einer Kopie Ihrer Daten.

Prompt-Vorlage — Pandas-Bereinigungscode generieren

Prompt: Vollständigen Bereinigungscode für eigenen Datensatz erstellen

„Ich habe eine CSV-Datei mit folgender Struktur: [Spaltenübersicht einfügen].

Bekannte Datenqualitätsprobleme: - [Problem 1, z. B. inkonsistente Schreibweise in Spalte X] - [Problem 2, z. B. fehlende Werte in Spalte Y] - [Problem 3, z. B. falsche Datumsformate]

Erstelle einen vollständigen Python-Code mit pandas, der: 1. Die CSV-Datei einliest 2. Jeden Bereinigungsschritt einzeln durchführt und protokolliert 3. Eine bereinigte Version als neue CSV speichert 4. Eine Zusammenfassung ausgibt: Wie viele Zeilen wurden pro Schritt verändert?

Nutze ausschließlich Standard-Bibliotheken. Kommentare auf Deutsch.”

Übung 6 — Bereinigungsprotokoll erstellen und präsentieren

Aufgabe: Erstellen Sie ein strukturiertes Bereinigungsprotokoll für einen realen oder fiktiven Datensatz.

Format des Protokolls:

Prompt für Protokoll-Erstellung: „Erstelle mir eine Bereinigungsprotokoll-Vorlage als Markdown-Tabelle für folgende Bereinigungsschritte: [Schritte]. Füge für jeden Schritt eine Spalte für den Zeitaufwand hinzu.”

Abschluss: Teilen Sie Ihr Protokoll in der Gruppe. Diskutieren Sie: Welche Bereinigungsmaßnahme hatte das überraschendste Ergebnis?

Zeit: 25 Minuten

Erweiterte Reflexionsfragen — UE 50

Welche Bereinigungsschritte in Ihrem Arbeitsalltag werden aktuell manuell durchgeführt — und könnten durch einen einmaligen KI-generierten Python-Code dauerhaft automatisiert werden?

Wie würden Sie einem Vorgesetzten, der Datenbereinigung für „nicht wertschöpfend” hält, den ROI eines strukturierten Bereinigungsworkflows erklären?

Was sind die ethischen Implikationen, wenn fehlende Werte durch den Median ersetzt werden — und wann ist diese Methode problematisch?

Branchen-Vignette — Logistik: Sendungsdaten aus verschiedenen ERP-Systemen zusammenführen

Ein mittelständisches Logistikunternehmen betreibt drei Depots mit unterschiedlichen ERP-Systemen. Die monatliche KPI-Auswertung erfordert die Zusammenführung von drei CSV-Exporten — mit unterschiedlichen Spaltenbezeichnungen, verschiedenen Datumsformaten und unterschiedlicher Schreibweise für Kundennamen.

KI-gestützter Ansatz: Ein einmaliger Prompt generiert ein Python-Skript, das alle drei Dateien lädt, Spalten umbenennt und einen konsolidierten Datensatz erzeugt. Das Skript läuft monatlich in 3 Minuten — statt 4 Stunden manueller Arbeit.

Lesson learned: Die größte Herausforderung war nicht die Technik, sondern das vollständige Erfassen aller Spalten-Inkonsistenzen. Eine initiale Datenqualitäts-Analyse mit KI sparte dabei zwei Stunden Aufwand.

Vertiefung — Fuzzy-Matching: Doppelte Einträge mit leichten Abweichungen erkennen

Reguläre Dubletten (exakt identische Einträge) findet Excel leicht. Schwieriger sind „Fast-Dubletten”: „REWE GmbH” vs. „REWE GmbH.” vs. „Rewe GmbH” — drei Einträge, ein Unternehmen.

Fuzzy-Matching-Methoden:

Methode 1 — Python mit fuzzywuzzy/rapidfuzz: KI-Prompt: „Erstelle Python-Code, der in einer CSV-Datei Spalte ‘Kundenname’ nach Fast-Dubletten mit einem Ähnlichkeitsschwellenwert von 90 % sucht und alle Paare ausgibt, die über diesem Schwellenwert liegen. Nutze die rapidfuzz-Bibliothek.”

Methode 2 — Excel Power Query (ohne Code): Power Query → Spalte auswählen → Transformieren → Werte zusammenführen per Fuzzy-Matching. Schwellenwert einstellbar (0 = exakt, 1 = alles).

Methode 3 — KI-gestützte Bereinigung: Prompt: „Ich habe folgende Liste von Firmennamen mit vermutlichen Dubletten: [Liste]. Gruppiere alle Einträge, die dasselbe Unternehmen meinen, und schlage den kanonischen Namen vor.”

Warnung

Fuzzy-Matching ist kein exaktes Verfahren — es erzeugt Kandidatenpaare, keine sicheren Dubletten. Jedes Paar muss manuell bestätigt werden, bevor Daten zusammengeführt oder gelöscht werden. Niemals automatisch zusammenführen ohne manuelle Stichprobe.

Prompt-Vorlage — Bereinigungsprotokoll automatisch generieren

Prompt: Automatisches Bereinigungsprotokoll

„Führe folgende Bereinigungsschritte durch und erstelle dabei ein Bereinigungsprotokoll:

Schritt 1: Identifiziere und entferne exakte Duplikate. Protokolliere: Anzahl entfernter Zeilen. Schritt 2: Standardisiere die Schreibweise in diesen Text-Spalten: [Spaltenliste]. Schritt 3: Konvertiere folgende Spalten in den richtigen Datentyp: [Spalte → Typ]. Schritt 4: Ersetze fehlende Werte in numerischen Spalten durch den Median. Protokolliere: Anzahl ersetzter Werte pro Spalte.

Ausgabe: Bereinigter Datensatz (CSV) + Bereinigungsprotokoll als Textdatei mit Datum, Schritten und Anzahl betroffener Zeilen.”

Vertiefung — Datenqualität messen: Der Data-Quality-Score

Ein Data-Quality-Score fasst mehrere Qualitätsdimensionen in einer einzigen Kennzahl zusammen. Das macht es einfacher, Verbesserungen sichtbar zu machen und mit dem Management zu kommunizieren.

Einfacher Data-Quality-Score (0–100):

Gesamtscore: Gewichteter Durchschnitt der vier Dimensionen.

KI-Prompt: „Berechne den Data-Quality-Score für meinen Datensatz mit folgenden Metriken: [Metriken]. Nutze das obige Gewichtungsschema. Gib eine Gesamtbewertung und die größten Verbesserungshebel aus.”

Merksatz

Ein Data-Quality-Score schafft Transparenz und erleichtert die Priorisierung von Bereinigungsmaßnahmen. Wer den Score vor und nach der Bereinigung misst, kann den konkreten Fortschritt dokumentieren.

Merksatz

Datenbereinigung ist kein einmaliges Projekt — sie ist ein dauerhafter Prozess. Die nachhaltigste Maßnahme ist nicht die Bereinigung schlechter Daten, sondern die Verhinderung von Qualitätsproblemen an der Quelle: durch klare Eingabestandards, Validierungsregeln und automatisierte Prüfungen beim Datenerfassungsprozess.

Abschluss-Checkliste UE 50 — Datenbereinigung: - [ ] Datenqualitäts-Analyse durchgeführt (isnull, duplicated, dtypes) - [ ] Bereinigungsprotokoll erstellt - [ ] Stichprobe nach Bereinigung manuell geprüft - [ ] Bereinigte Datei unter neuem Namen gespeichert (nie Originaldatei überschreiben)

Quellen & Weiterlesen

Vertiefung — Datenqualitäts-Scorecard und systematische Messung

Die Bereinigung eines einmaligen Datensatzes ist wichtig — aber noch wichtiger ist die systematische Messung und Verbesserung der Datenqualität über Zeit. Datenqualität ist kein Zustand, den man einmal herstellt und dann vergisst, sondern ein kontinuierlicher Prozess. Jeder Datenimport, jede manuelle Eingabe, jede Systemänderung kann neue Qualitätsprobleme einführen.

Eine Datenqualitäts-Scorecard misst für jeden Datensatz regelmäßig dieselben Qualitätsdimensionen:

Vollständigkeit: Welcher Prozentsatz der Pflichtfelder ist ausgefüllt? Ziel: 100 %; Schwelle für Alarmmeldung: < 95 %.

Konsistenz: Wie viele Zeilen haben inkonsistente Formate (z. B. Datumsformat, Dezimaltrennzeichen)? Ziel: 0 Inkonsistenzen; Schwelle: > 0,5 % inkonsistente Felder.

Einzigartigkeit: Wie hoch ist die Dubletten-Rate (exakt + quasi)? Ziel: < 0,1 %; Schwelle: > 1 %.

Aktualität: Wie alt sind die Daten im Datensatz im Median? Hängt stark vom Anwendungsfall ab.

Korrektheit: Wie hoch ist der Anteil der Datenpunkte, die manuell auf Korrektheit geprüft wurden (Stichprobenquote)? Ziel: mindestens 5 Stichproben pro Bereinigung.

Diese Scorecard kann mit dem Code Interpreter automatisch berechnet werden: Ein einziger Prompt nach dem Upload liefert die Werte für alle fünf Dimensionen. Wenn die Scorecard regelmäßig geführt wird (z. B. monatlich), entsteht ein Qualitäts-Trending, das zeigt, ob die Datenqualität über Zeit besser oder schlechter wird — und wo die Ursachen liegen.

Datenherkunfts-Dokumentation (Data Lineage): Eine oft vernachlässigte Praxis ist die Dokumentation, woher die Daten ursprünglich stammen. Data Lineage beschreibt den Weg eines Datenpunkts vom Quellsystem (ERP, CRM, manuelle Eingabe) über eventuelle Transformationsschritte bis zur Analyse. Diese Dokumentation ist für Audits unverzichtbar und hilft bei der Ursachenanalyse, wenn Qualitätsprobleme auftreten: Wenn immer dieselbe Spalte fehlerhafte Werte enthält, liegt die Ursache oft im Quellsystem — nicht im Bereinigungsprozess.

Referenzdaten-Management: Viele Datensätze enthalten Codes oder Schlüssel, die auf externe Referenzdaten verweisen — Länder-ISO-Codes, Branchenkennziffern (WZ-Klassifikation), Postleitzahl-Ortsname-Tabellen. Diese Referenzdaten müssen aktuell und konsistent sein, damit die Bereinigung korrekte Ergebnisse liefert. KI kann helfen, Referenzdaten-Inkonsistenzen zu erkennen: „Prüfe, ob alle Ländercodes in meinem Datensatz gültige ISO-3166-2-Codes sind.”

Automatisierte Bereinigungspipelines: Wenn dieselben Bereinigungsschritte regelmäßig auf ähnliche Datensätze angewendet werden (z. B. monatlicher CRM-Export), lohnt sich die Erstellung einer Bereinigungspipeline: ein Python-Skript (generiert vom Code Interpreter), das alle Bereinigungsschritte automatisch durchführt, wenn eine neue CSV-Datei in einen definierten Ordner gelegt wird. Dieses Skript ist reproduzierbar, dokumentiert und spart bei jeder neuen Bereinigung die manuelle Prompt-Erstellung. Die Erstellung des Skripts dauert mit Code-Interpreter-Unterstützung etwa 15 Minuten; jede nachfolgende Bereinigung dauert dann wenige Sekunden.

Vertiefung — Die sieben Datenqualitätsdimensionen nach ISO 25012

Die ISO-Norm 25012 (Software Engineering — Data Quality Model) definiert 15 Datenqualitätsdimensionen. Für den praktischen KI-Analyse-Kontext sind sieben besonders relevant:

1. Korrektheit (Accuracy): Die Daten spiegeln die reale Welt korrekt wider. Ein Umsatzwert von 0 € ist technisch korrekt gespeichert, aber faktisch falsch, wenn das Projekt tatsächlich Umsatz generiert hat.

2. Vollständigkeit (Completeness): Alle erforderlichen Datenpunkte sind vorhanden. Fehlende Werte in Pflichtfeldern verletzen die Vollständigkeit.

3. Konsistenz (Consistency): Dieselben Informationen sind in verschiedenen Systemen oder Datensätzen übereinstimmend gespeichert. Wenn ein Kundensatz im CRM eine andere Postleitzahl hat als im ERP, liegt eine Konsistenz-Verletzung vor.

4. Aktualität (Currency): Die Daten entsprechen dem aktuellen Stand. Veraltete Kontaktdaten, nicht aktualisierte Preise oder veraltete Produktbeschreibungen sind Aktualitäts-Probleme.

5. Einzigartigkeit (Uniqueness): Jeder Entität entspricht genau ein Datensatz — keine Dubletten.

6. Zugänglichkeit (Accessibility): Die Daten sind für die berechtigten Nutzer in nutzbarer Form verfügbar.

7. Nachvollziehbarkeit (Traceability): Die Herkunft und Verarbeitungsgeschichte eines Datenpunkts ist nachvollziehbar (→ Data Lineage).

KI kann bei der Messung dieser Dimensionen helfen: Ein Prompt-Template für die Datenqualitäts-Analyse produziert für jeden Datensatz einen Qualitätsbericht nach den sieben Dimensionen.

Vertiefung — Bereinigung als Teil des ETL-Prozesses

ETL steht für Extract, Transform, Load — der klassische Datenpipeline-Prozess: Daten aus Quellsystemen extrahieren, transformieren (bereinigen, normalisieren, anreichern) und in das Zielsystem laden. KI-gestützte Bereinigung ist der Transform-Schritt dieses Prozesses.

In professionellen Datenumgebungen werden ETL-Prozesse automatisiert und regelmäßig ausgeführt — z. B. täglich um 3 Uhr nachts, wenn die Systeme wenig ausgelastet sind. Die Bereinigungsschritte, die in dieser UE mit dem Code Interpreter manuell durchgeführt werden, können als Python-Skript automatisiert werden. Der Code Interpreter kann dieses Skript generieren: „Erstelle ein Python-Skript, das die folgende Bereinigungssequenz automatisch auf alle CSV-Dateien in einem definierten Ordner anwendet: [Bereinigungsschritte].”

Das Skript kann dann über einen Task Scheduler (Windows) oder Cron Job (Linux/Mac) regelmäßig ausgeführt werden. Für Organisationen ohne IT-Abteilung, die solche Skripte deployen könnte, gibt es Low-Code-Alternativen: Power Automate (Microsoft) oder n8n (Open Source) können ETL-Workflows visuell konfigurieren und automatisieren — mit KI-Unterstützung bei der Prompt-Formulierung.

Vertiefung — Das Qualitätsproblem in Datenpipelines

Datenbereinigung ist in der Praxis der zeitaufwändigste Schritt jeder Analyse. Studien aus dem Bereich Data Engineering zeigen konsistent, dass Datenwissenschaftlerinnen und Datenwissenschaftler 60–80 % ihrer Arbeitszeit mit Bereinigung, Transformation und Validierung verbringen — und nur 20–40 % mit der eigentlichen Analyse. Dieses Verhältnis hat sich in vielen Organisationen trotz besserer Werkzeuge kaum verändert, weil Datenqualitätsprobleme mit wachsenden Datenvolumina mitwachsen.

Die Ursachen sind vielfältig: Manuelle Dateneingabe ohne Validierungsregeln, unterschiedliche Quellsysteme mit inkonsistenten Formaten, historisch gewachsene Datenbankstrukturen, Übernahmen und Systemmigrationen, internationale Teams mit unterschiedlichen Schreibkonventionen für Datumsangaben, Dezimaltrennzeichen und Namensformate. KI verändert diese Situation nicht grundlegend — sie beschleunigt jedoch die Bearbeitung bekannter Muster erheblich und erkennt auch unbekannte Muster, die Menschen übersehen.

Merksatz

Datenbereinigung ist kein Einmalvorgang, sondern ein kontinuierlicher Prozess. KI beschleunigt die Erkennung und Korrektur von Qualitätsproblemen — beseitigt aber nicht die Ursachen schlechter Datenqualität. Nachhaltige Verbesserung erfordert Prozessänderungen an der Quelle.

Vertiefung — Kategorien von Datenqualitätsproblemen

Ein systematisches Vorgehen beginnt mit der Klassifikation der vorliegenden Qualitätsprobleme. Sechs Kategorien decken die meisten Praxisfälle ab:

1. Vollständigkeit: Fehlende Werte (NULL, leer, N/A, „-“, „k. A.”) in Pflichtfeldern. Die KI kann fehlende Werte identifizieren und je nach Kontext entweder markieren, mit Standardwerten füllen oder einen Imputationsvorschlag machen. Bei numerischen Feldern: Mittelwert, Median oder letzter bekannter Wert. Bei kategorischen Feldern: häufigster Wert oder explizite Kennzeichnung als „unbekannt”.

2. Korrektheit: Werte, die formal vorhanden, aber inhaltlich falsch sind. Typisches Beispiel: Postleitzahl 12345 für München (korrekte PLZ: 80000–81999). KI kann Plausibilitätsregeln anwenden und verdächtige Werte markieren — etwa Umsatzzahlen von 0 für eigentlich aktive Kunden, negative Lagerbestände oder Geburtsdaten in der Zukunft.

3. Konsistenz: Widersprüche innerhalb eines Datensatzes oder zwischen verknüpften Datensätzen. Beispiel: Bestelldatum liegt nach dem Lieferdatum, oder Kundenalter und Geburtsdatum stimmen nicht überein. KI kann Konsistenzregeln prüfen, die sich aus dem Geschäftskontext ergeben.

4. Einheitlichkeit: Unterschiedliche Formate für dasselbe Konzept. Datumsformate (DD.MM.YYYY vs. MM/DD/YYYY vs. YYYY-MM-DD), Währungsangaben (€ 1.234,56 vs. 1234.56 EUR), Telefonnummern (+49 211 12345 vs. 0211/12345 vs. 021112345). KI normalisiert alle Formate auf ein festgelegtes Zielformat.

5. Aktualität: Veraltete Werte, die formal korrekt waren, inzwischen aber nicht mehr stimmen. Beispiele: Kundenadressen nach Umzug, Berufsbezeichnungen nach Organisationsänderungen, Produktpreise nach Preisanpassungen. KI kann Aktualitätsprobleme nur begrenzt erkennen — sie braucht dazu externe Referenzdaten.

6. Eindeutigkeit: Dubletten (exakte oder approximative) und Merge-Konflikte, wenn dieselbe Entität unter mehreren Schlüsseln geführt wird. Dies ist das komplexeste Bereinigungsproblem, weil Dubletten selten exakt gleich sind.

Prompt-Vorlage

Prompt: Systematische Datenqualitätsanalyse

„Ich lade eine CSV-Datei mit Kundendaten hoch. Analysiere die Datenqualität strukturiert nach folgenden Kategorien: (1) Vollständigkeit — fehlende Werte pro Spalte und Zeile, (2) Korrektheit — offensichtliche Plausibilitätsverletzungen, (3) Konsistenz — Widersprüche zwischen Spalten, (4) Einheitlichkeit — Formatinkonsistenzen, (5) Eindeutigkeit — potenzielle Dubletten. Gib für jede Kategorie eine Bewertung (gut / problematisch / kritisch) und konkrete Beispiele aus den Daten. Schließe mit einer priorisierten Liste der wichtigsten Bereinigungsmaßnahmen.”

Vertiefung — Fuzzy Matching und Probabilistische Dublettenprüfung

Exakte Dublettenerkennung (identische Schlüsselwerte) ist trivial. Die Herausforderung sind approximative Dubletten: „Müller GmbH”, „Müller GmbH & Co. KG”, „Mueller GmbH”, „Müller Gesellschaft mit beschränkter Haftung” — vier Schreibweisen für dieselbe juristische Einheit.

Fuzzy Matching-Algorithmen berechnen eine Ähnlichkeitspunktzahl zwischen Zeichenketten. Der Levenshtein-Abstand misst, wie viele Einzeloperationen (Einfügen, Löschen, Ersetzen eines Zeichens) nötig sind, um eine Zeichenkette in eine andere zu überführen. Jaro-Winkler gewichtet Übereinstimmungen am Anfang einer Zeichenkette stärker — sinnvoll für Personennamen, wo Vorname und Nachname vorn stehen. Token-basierte Methoden (wie Token Sort Ratio) normalisieren Wortfolgen und erkennen auch „GmbH Müller” als Ähnlichkeitstreffer zu „Müller GmbH”.

Merksatz

Fuzzy Matching erfordert immer eine Schwellenwertentscheidung: Ab welcher Ähnlichkeit gilt ein Treffer als Dublette? Zu niedriger Schwellenwert → viele falsche Positive (echte Unterschiedliche werden zusammengeführt). Zu hoher Schwellenwert → viele falsche Negative (echte Dubletten bleiben bestehen). Der optimale Schwellenwert ist kontextabhängig und muss validiert werden.

LLMs können beim Fuzzy Matching auf eine neue Weise helfen: Sie verstehen den semantischen Kontext. Während ein algorithmisches Fuzzy Matching „Apple Inc.” und „Apple Store” als ähnlich bewerten könnte (gemeinsame Tokens), erkennt ein LLM den Unterschied zwischen Unternehmensmutter und Tochtergesellschaft — und kann diese Entscheidung begründen. Für schwierige Fälle, bei denen der Algorithmus keine klare Entscheidung trifft (Ähnlichkeitspunktzahl im Grenzbereich 0,7–0,9), kann ein LLM als Prüfinstanz eingesetzt werden: „Sind ‘Müller GmbH Berlin’ und ‘Müller GmbH Düsseldorf’ dieselbe Firma oder zwei verschiedene Standorte? Begründe deine Einschätzung.”

Branchen-Anwendungen — Datenbereinigung in spezialisierten Kontexten

IT-Dienstleistung & Beratung: Projektportfolios wachsen über Jahre, und Stammdaten werden selten systematisch gepflegt. KI kann inkonsistente Projektstatus-Bezeichnungen normalisieren (etwa „abgeschlossen”, „fertig”, „done”, „completed”, „archiviert” auf eine einheitliche Kategorie reduzieren), Kundendubletten in CRM-Systemen erkennen (dasselbe Unternehmen unter verschiedenen Schreibweisen oder Standorten) und fehlende Projektbudgets durch Schätzung aus ähnlichen historischen Projekten plausibilisieren. Besonders wertvoll: KI kann aus freitextlichen Projektbeschreibungen standardisierte Tags und Kategorien ableiten, die für spätere Auswertungen nutzbar sind.

Industrie & Fertigung: In Fertigungsumgebungen entstehen Datenqualitätsprobleme typischerweise an der Schnittstelle zwischen Maschinensteuerung (OT-Welt) und Unternehmenssoftware (IT-Welt). Sensordaten enthalten Ausreißer durch Messfehler, Zeitstempel sind durch unterschiedliche Uhren nicht synchron, Artikelnummern aus verschiedenen Werken folgen unterschiedlichen Konventionen. KI kann Sensor-Ausreißer durch statistische Methoden (Z-Score, IQR-Methode) erkennen, Zeitreihen auf fehlende Intervalle prüfen und Artikelnummern-Mapping-Tabellen aus unstrukturierten Listen erzeugen.

Finanzdienstleistung & Versicherung: Regulatorische Anforderungen (MiFID II, Solvency II, DSGVO) stellen hohe Ansprüche an die Datenqualität. Personendaten müssen vollständig, aktuell und konsistent sein. KI kann bei der Validierung von IBAN-Formaten, Steueridentifikationsnummern und Geburtsdaten helfen, Adressen gegen Postleitzahlen-Datenbanken prüfen und verdächtige Transaktionsmuster für manuelle Prüfung markieren. Wichtig: KI-Ergebnisse sind hier immer ein Hinweis, keine Entscheidung — die finale Qualitätsprüfung muss durch Menschen erfolgen.

Öffentliche Verwaltung: Bürgerdaten in Verwaltungssystemen haben oft jahrzehntelange Geschichte. Namensänderungen durch Heirat oder Scheidung, Adressänderungen, veraltete Berufsangaben und mehrfach angelegte Datensätze durch parallele Verwaltungsverfahren sind typische Probleme. KI kann Dublettenprüfungen über phonetische Ähnlichkeit (Soundex, Kölner Phonetik für deutsche Namen) durchführen, historische Adressdaten gegen aktuelle Verzeichnisse prüfen und Konsistenz zwischen verschiedenen Fachverfahren sicherstellen — sofern Datenzugriff und Datenschutz dies erlauben.

Prompt-Vorlage

Prompt: Fuzzy-Duplikatserkennung mit Begründung

„Analysiere diese Liste von Firmennamen auf potenzielle Dubletten. Gruppiere Einträge, die wahrscheinlich dieselbe juristische Einheit bezeichnen, in Clusters. Für jeden Cluster: Liste alle Varianten, nenne den wahrscheinlichsten ‘Kanonischen Namen’ und begründe kurz, warum du diese Einträge zusammengefasst hast (Tipp- oder Transliterationsfehler, Rechtsform-Varianten, Abkürzungen, etc.). Markiere unsichere Fälle (< 80 % Sicherheit) explizit als ‘Manuelle Prüfung erforderlich’.”

Prompt-Vorlage

Prompt: Datenbereinigungsplan in Schritten

„Ich habe einen Datensatz mit [Anzahl] Zeilen und [Anzahl] Spalten, der folgende Qualitätsprobleme hat: [Auflistung der bekannten Probleme]. Erstelle einen strukturierten Bereinigungsplan mit: (1) Priorisierung der Probleme nach Auswirkung auf die Analysequalität, (2) Konkreten Bereinigungsschritten für jedes Problem, (3) Validierungstest für jede Bereinigungsmaßnahme (wie prüfe ich, ob die Bereinigung erfolgreich war?), (4) Einschätzung, welche Bereinigungsschritte manuell vs. automatisiert/per Formel durchgeführt werden sollten.”

Vertiefung — Von der Einzel-Bereinigung zur Bereinigungspipeline

Einzel-Bereinigungen (ein Datensatz, einmalig bereinigt) sind der Einstieg. Der nächste Reifegrad ist die Bereinigungspipeline: Ein definierter, wiederholbarer Prozess, der neue Datenzuflüsse automatisch auf bekannte Qualitätsprobleme prüft und bereinigt.

KI unterstützt beim Aufbau von Bereinigungspipelines auf zwei Ebenen:

Ebene 1 — Bereinigungsregeln formalisieren: KI kann aus Beispieldaten und manuellen Bereinigungen Regeln ableiten und als Pseudocode oder Python-Code formulieren. Wenn Sie einer KI zeigen, was Sie manuell bereinigt haben (vor → nach), kann sie daraus eine wiederholbare Bereinigungsregel erzeugen.

Ebene 2 — Validierungstests: Für jede Bereinigungsregel sollte ein Test existieren, der prüft, ob die Regel korrekt angewendet wurde. KI kann diese Tests als Python-Code (z. B. mit dem Bibliotheken pytest oder great_expectations) generieren.

Merksatz

Eine Bereinigungspipeline ohne Tests ist eine Black Box. Tests stellen sicher, dass die Pipeline auch bei neuen Daten korrekt funktioniert — und machen Fehler sichtbar, bevor sie in nachgelagerte Systeme gelangen. KI kann sowohl die Pipeline als auch die Tests generieren.

Hinweis für Trainer

Didaktischer Hinweis — Datenbereinigung erlebbar machen: Bereiten Sie für die Übungsphase bewusst einen „schmutzigen” Beispieldatensatz vor, der alle sechs Qualitätskategorien in überschaubarem Umfang enthält. Teilnehmende sollen zuerst selbst versuchen, die Probleme zu identifizieren — dann mit KI-Unterstützung. Der Vergleich „selbst gefunden vs. KI gefunden” ist oft überraschend: KI findet manche Probleme schneller (Formatinkonsistenzen), Menschen finden manche besser (kontextbezogene Plausibilitätsfehler). Dieser Vergleich macht die komplementäre Stärke von Mensch und KI erfahrbar.

Hinweise für AI Champions — So vermitteln Sie das Thema — UE 50

Timing (45 Min): 5 Min Einstieg (Alltags-Beispiel schlechter Datensatz), 10 Min Lerntext (6 Problemklassen + Workflow), 22 Min Lab (Übung 1 + 2), 5 Min Diskussion Schwellenwerte, 3 Min Puffer.

Methodische Empfehlung: Eigenen Datensatz als Einstiegsbeispiel nutzen, der von Teilnehmenden erkennbar „bekannte” Qualitätsprobleme enthält. Die Stichprobenprüfung muss explizit geübt werden — viele Teilnehmende tendieren dazu, KI-Output ohne Prüfung zu akzeptieren.

Häufige Stolpersteine: (a) Upload schlägt wegen Dateigröße fehl — CSV vorher auf < 50 MB reduzieren. (b) Teilnehmende vergessen Datenschutzprüfung — Folie mit Drei-Stufen-Modell vorab zeigen (Vorgriff auf UE 55). (c) Bereinigungsauftrag zu vage — auf Spezifität des Prompts bestehen.

Diskussionsfragen für Plenum: (1) „Wo in Ihrem Datenumfeld entstehen Qualitätsprobleme — an der Quelle oder beim Import?” (2) „Wie ändern sich Verantwortlichkeiten, wenn KI Bereinigungsentscheidungen trifft — wer prüft das Ergebnis?”

Tafelbild-Vorschlag: Fluss-Schema: Rohdaten → Explorativer Überblick → Bereinigungsauftrag → Bereinigter Datensatz → Stichprobenprüfung → Original archivieren.

Differenzierung Power-User ↔ Einsteiger: Power-User: Bereinigungsprotokoll automatisch generieren lassen und als Audit-Dokument für interne Reviews verwenden. Einsteiger: Nur Schritt-für-Schritt mit dem Overblick-Prompt beginnen, ohne direkten Bereinigungsauftrag.

Tipp zur Branchenauswahl: Für Fertigungskunden das Maschinenprotokoll-Beispiel (Encoding, Stunden-Format) hervorheben. Für Finanzdienstleister den Compliance-Hinweis zur Fuzzy-Matching-Grenze betonen. Für Verwaltungskunden das Altsystem-Integrations-Szenario verwenden.

Übergang zur nächsten UE: „Mit bereinigten Daten können wir jetzt analytisch arbeiten. In UE 51 sehen wir, wie KI uns bei der Auswahl und Konfiguration von Pivot-Tabellen hilft — der erste Schritt von der Rohdaten-Tabelle zur Erkenntnis.”

Vertiefung — Datenbereinigung als strategische Aufgabe: Die wahren Kosten schlechter Daten

Schlechte Datenqualität ist keine technische Fußnote — sie kostet Unternehmen real Geld, Zeit und Glaubwürdigkeit. Klassische Studien (IBM, Gartner) schätzen, dass Unternehmen 10–30 % ihres Umsatzes durch Datenqualitätsprobleme verlieren — durch Fehlentscheidungen auf Basis falscher Daten, durch Mehrarbeit bei der manuellen Korrektur, durch Compliance-Verstöße und durch Vertrauensverlust beim Empfänger von Reports.

Die häufigsten organisatorischen Ursachen für schlechte Datenqualität: - Keine Eingabe-Validierung an der Quelle: Wenn ein CRM-System Freitext-Eingaben ohne Formatvorgabe erlaubt, entstehen zwangsläufig Inkonsistenzen (GmbH, GmbH., gmbh, G.m.b.H.). - Fehlende Zuständigkeit: Niemand ist explizit für die Datenqualität einer bestimmten Tabelle oder eines Datenbankfeldes verantwortlich — also kümmert sich niemand. - Copy-Paste aus verschiedenen Quellen: Daten aus drei Systemen mit unterschiedlichen Datumsformaten werden zusammengeführt, ohne Formatanpassung. - Wachstum ohne Governance: Eine ursprünglich für 200 Einträge gedachte Excel-Liste wird auf 20.000 Einträge angewachsen, ohne dass Validierungsregeln angepasst wurden.

KI als Bereinigungspartner — aber nicht als Alleinlösung: KI kann Symptome erkennen und beheben — aber die strukturellen Ursachen lösen nur Menschen. Die nachhaltige Verbesserung der Datenqualität erfordert Maßnahmen an der Quelle: Pflichtfelder einführen, Dropdown-Listen statt Freitext, regelmäßige Datenqualitäts-Reviews.

Prompt-Vorlage — Datenqualitäts-Diagnose

Prompt: Vollständige Datenqualitäts-Diagnose eines Datensatzes

„Analysiere folgenden Datensatz auf Datenqualitätsprobleme — bitte strukturiert nach den folgenden Kategorien:

Vollständigkeit: Welche Spalten haben fehlende Werte? Wie viele Zeilen und in welchem Prozentverhältnis?

Konsistenz: Gibt es in Text-Spalten Inkonsistenzen (Groß-/Kleinschreibung, Abkürzungsvarianten, Sonderzeichen)?

Genauigkeit: Gibt es numerische Ausreißer (Werte, die mehr als 3 Standardabweichungen vom Mittelwert abweichen)?

Einzigartigkeit: Gibt es exakte oder nahezu gleiche Duplikate (gleiche Zeile oder gleiche Schlüsselspalte)?

Aktualität: Gibt es Datumswerte, die verdächtig alt oder in der Zukunft liegen?

Fasse die Diagnose abschließend in einer Prioritätenliste zusammen: Welches Problem sollte zuerst behoben werden und warum?”

Zusatzübung — Bereinigungsprotokoll erstellen

Zusatzübung — Bereinigungsprotokoll für einen realen Datensatz

Aufgabe: Nehmen Sie einen Datensatz aus Ihrem Arbeitsalltag (vollständig anonymisiert, Kategorie Grün nach UE 55), laden Sie ihn in den Code Interpreter und erstellen Sie ein vollständiges Bereinigungsprotokoll.

Schritt-für-Schritt: 1. Datensatz auf Datenschutz prüfen — nur vollständig anonymisierte Daten hochladen. 2. Explorativen Diagnose-Prompt senden (s. Prompt-Vorlage oben). 3. Auf Basis der Diagnose: Welche der fünf Datenqualitäts-Kategorien weist den dringlichsten Handlungsbedarf auf? 4. Für das wichtigste Problem: Bereinigungsschritt per Prompt anfordern und durchführen. 5. Bereinigungsprotokoll dokumentieren: Welches Problem? Welche Bereinigungsmaßnahme? Vorher/Nachher (Anzahl betroffener Zeilen)? 6. Kritische Reflexion: Was kann KI bei der Bereinigung dieses Datensatzes nicht? Wo ist menschliches Urteil notwendig?

Erwartetes Ergebnis: Ein schriftliches Bereinigungsprotokoll (5–8 Zeilen) mit Diagnose, Maßnahme und Reflexion.

Branchen-Vignette — Personalwesen: Mitarbeiterlisten bereinigen

Eine HR-Mitarbeiterin in einem Unternehmen mit 850 Beschäftigten übernimmt die Pflege der Personalstammdaten aus zwei Vorsystemen nach einer Fusion. Die konsolidierte Excel-Liste hat 850 Zeilen und 22 Spalten — und enthält alle klassischen Probleme: 48 Einträge ohne Kostenstelle (leer), Abteilungsbezeichnungen in vier verschiedenen Schreibweisen, Eintrittsdaten teils im Format TT.MM.JJJJ, teils als JJJJ-MM-TT. Eine vollständige manuelle Bereinigung würde mehrere Tage dauern.

Mit dem Code Interpreter: Datensatz hochladen (vollständig anonymisiert — keine Namen, nur Mitarbeiternummern), Diagnose-Prompt senden, Bereinigungsplan erhalten, Schritt für Schritt abarbeiten. Ergebnis nach 45 Minuten: Bereinigte Liste mit einheitlichen Abteilungsbezeichnungen, korrigierten Datumsformaten und einem Protokoll, das zeigt, welche Einträge manuell nachgepflegt werden müssen (fehlende Kostenstellen). Zeitersparnis: ca. 2 Arbeitstage.

Quelle: KI-Wissensbasis von MindsMachines, Edition Juni 2026. Vollständige Fassung mit Anhängen und Musterlösungen: als PDF anfordern.