Stärken & Grenzen heutiger KI – was KI (nicht) kann

Lernziele

• Sie benennen mindestens sechs Stärken und sechs wesentliche Grenzen heutiger Sprachmodelle und können diese an branchenübergreifenden Beispielen aus der Praxis illustrieren.
• Sie wenden eine 2×2-Matrix (Aufgabentyp: Routine/Komplex — Risiko bei Fehler: Niedrig/Hoch) an, um für konkrete Aufgaben das Risikoprofil des KI-Einsatzes systematisch einzuschätzen.
• Sie erklären den Unterschied zwischen statistischer Plausibilität und faktischer Korrektheit und leiten daraus die Notwendigkeit menschlicher Verifikation für entscheidungsrelevante KI-Outputs ab.
• Sie ordnen die wissenschaftliche Debatte um „Stochastische Papageien” (Bender et al. 2021) kritisch ein und ziehen daraus praktische Konsequenzen.
• Sie analysieren eine gegebene Arbeitsaufgabe anhand von vier Dimensionen (Strukturierungsgrad, Faktizitätsbedarf, Kontexttiefe, Risikotragung) und leiten eine begründete KI-Einsatzempfehlung ab.

Auf einen Blick

Worum geht es? — Der didaktische Einstieg

Eine Kollegin betritt das Büro und berichtet enthusiastisch: Sie habe die gesamte Marktanalyse für einen neuen Kunden mit KI erstellt — in zwanzig Minuten. Das Ergebnis: strukturiert, professionell, überzeugend. Erst beim genauen Hinsehen stellt sich heraus, dass die genannte Marktgröße nicht mit publizierten Quellen übereinstimmt. Die verlinkte Gartner-Studie aus dem Jahr 2024 existiert nicht. Zwei der genannten Wettbewerber sind längst insolvent.

Das ist kein Einzelfall und kein Anlass, KI als nutzlos abzustempeln. Es ist schlicht das Ergebnis eines unzureichenden Verständnisses davon, was KI verlässlich leisten kann — und was nicht.

Diese Unterrichtseinheit ist eine der wichtigsten des gesamten Moduls, weil sie vor den zwei häufigsten Fehlern schützt: dem unkritischen Vertrauen in alle KI-Outputs und der pauschalen Ablehnung eines leistungsstarken Werkzeugs. Die Wahrheit liegt in der Mitte — und sie ist differenziert. Wer beide Seiten kennt, kann KI so einsetzen, dass sie echte Produktivitätsgewinne bringt, ohne Qualitäts- oder Haftungsrisiken einzugehen.

Das didaktische Ziel dieser UE ist nicht eine Liste von Stärken und Schwächen. Es ist ein mentales Modell: eine Denkstruktur, die es ermöglicht, für jede neue Aufgabe in der täglichen Praxis zu entscheiden, ob, wie und mit welchem Maß an Verifikation KI eingesetzt werden soll. Diese Kompetenz ist das Fundament für alle weiteren Module.

Lerntext — Theorie und Konzepte

Was KI verlässlich gut kann — Stärken mit Substanz

Die Stärken heutiger Sprachmodelle sind in bestimmten Domänen außerordentlich ausgeprägt. Es lohnt sich, sie konkret zu benennen, damit der produktive Einsatz gezielt erfolgen kann.

Texte formulieren, umschreiben, übersetzen: Das ist das Kernkompetenzfeld von LLMs. Einen Kundenbrief in freundlichem Ton verfassen, einen technischen Bericht in laiengerechte Sprache umformulieren, ein zwanzigseitiges Angebot ins Englische übersetzen — all das funktioniert heute zuverlässig auf professionellem Niveau. Die Übersetzungsqualität zwischen den Hauptsprachen (Deutsch, Englisch, Französisch, Spanisch) ist für Standardtexte mit professionellen Übersetzungsdiensten vergleichbar. Der entscheidende Unterschied: Geschwindigkeit und Kosten.

Strukturierung und Gliederung: KI ist außerordentlich stark darin, aus unstrukturierten Informationen eine logische Struktur zu entwickeln. Aus einem Brainstorming-Protokoll eine strukturierte Agenda erstellen, aus einer Projektbeschreibung eine Angebotsstruktur ableiten, aus Meeting-Notizen ein strukturiertes Protokoll mit Action Items formatieren — diese Aufgaben nehmen menschliche Wissensarbeiter täglich 20 bis 30 Minuten in Anspruch. Mit KI dauern sie Sekunden bis wenige Minuten.

Code schreiben, erklären und debuggen: Für Standardaufgaben in verbreiteten Programmiersprachen (Python, JavaScript, SQL, PowerShell, Java) ist KI bereits produktionsreif. Code-Assistenten wie GitHub Copilot zeigen in Studien Produktivitätssteigerungen von 20 bis 55 Prozent für professionelle Entwickler. Auch für Nicht-Entwickler eröffnet KI neue Möglichkeiten: Excel-Formeln generieren, PowerShell-Scripts für administrative Aufgaben erstellen, Fehlermeldungen interpretieren und erklären.

Ideengeneration und Brainstorming: KI ist nahezu unerschöpflich in der Ideenproduktion — zwanzig Vorschläge für einen Blogpost-Titel, fünfzehn Ansätze für ein Kundenproblem, zehn Produktverbesserungsideen. Die Qualität der einzelnen Idee ist variabel, aber die Geschwindigkeit und Menge übertrifft jede menschliche Brainstorming-Session. KI eignet sich hervorragend als erster Ideengeber, den der Mensch dann filtert, kombiniert und verfeinert.

Mustererkennung in Dokumenten: Aus hundert Kundenverträgen alle Klauseln zu Zahlungsfristen extrahieren, aus fünfhundert Support-Tickets die häufigsten Problemmuster identifizieren, aus einem fünfzigseitigen Dokument alle erwähnten Personen und Organisationen auflisten — das ist semantische Informationsextraktion auf einem Niveau, das vor LLMs nur mit aufwändigen NLP-Pipelines möglich war. Heute: ein gut formulierter Prompt reicht.

Wissensabfragen zu gut dokumentierten Themen: Für Themen mit hoher Trainingsdatendichte — Technologiekonzepte, wissenschaftliche Grundlagen, etabliertes Fachwissen — liefert KI zuverlässig Lexikon-Qualität. Das OSI-Schichtenmodell, die Geschichte des Internet-Protokolls, die Prinzipien agiler Softwareentwicklung: Bei diesen Themen halluziniert ein gut trainiertes Modell kaum, weil die Trainingsdaten konsistent und zahlreich sind.

Was KI nicht verlässlich kann — Grenzen mit Konsequenzen

Keine verlässliche Faktentreue: Das ist die wichtigste Grenze. Ein LLM erzeugt Text, der statistisch plausibel klingt — nicht Text, der faktisch korrekt ist. Zahlen, Daten, Namen, Quellenangaben, Gesetzestexte: All das kann korrekt sein — aber es kann auch erfunden sein, mit derselben sprachlichen Konfidenz präsentiert. Dieses Phänomen wird in UE 7 ausführlich behandelt.

Kein aktuelles Wissen ohne Websuche: Ohne Internetzugang kennt das Modell keine Ereignisse nach dem Trainings-Cutoff. Gesetzesänderungen des letzten Monats, aktuelle Marktpreise, neue Gerichtsurteile, aktuelle Benchmark-Ergebnisse — das sind blinde Flecken. Modelle mit integrierter Websuche (Perplexity, ChatGPT mit Search, Gemini mit Google-Zugriff) lösen dieses Problem partiell — prüfen Sie, welche Funktion aktiv ist.

Kein echtes Konzeptverständnis: Das ist philosophisch komplex, aber praktisch wichtig. Das Modell verarbeitet sprachliche Muster, keine semantischen Konzepte. Die Debatte um „Stochastische Papageien” (Bender et al. 2021, ACM) formuliert es so: Ein Modell, das auf genug Text trainiert wurde, kann jeden Satz plausibel vervollständigen — ohne irgendwas zu „verstehen”. Das hat praktische Konsequenzen für Aufgaben, die echtes Konzeptverständnis und Urteilsvermögen erfordern.

Keine zuverlässige Arithmetik: LLMs sind keine Taschenrechner. Einfache Rechnungen sind meist korrekt. Komplexere Berechnungen — Projektbudgets, Steuerberechnungen, statistische Analysen mit mehreren Variablen — sind fehleranfällig. Für numerische Aufgaben: Code-Interpreter nutzen oder externe Tools (Excel, Python) einbeziehen. Niemals KI-generierte Zahlen ohne Gegenprüfung in Dokumente übernehmen.

Keine persistente Identität ohne Memory-Funktionen: Ohne explizite Memory-Funktion beginnt jede neue Sitzung bei null. Das Modell erinnert sich nicht an Präferenzen, vergangene Projekte oder persönliche Kontexte. Konsequenz: Wichtiger Kontext muss bei jeder Sitzung erneut eingebracht werden — oder es werden Memory-Funktionen (Custom Instructions, Projects) genutzt.

Common-Sense-Reasoning als bekannte Schwachstelle: Aufgaben, die für Menschen trivial sind, können LLMs überfordern: räumliches Denken, physikalische Intuition, implizite soziale Normen, die nicht sprachlich expliziert sind. Neuere Reasoning-Modelle (o3, Claude 3.7) verbessern sich hier deutlich, lösen das Problem aber nicht vollständig.

Abb. 6.1 — KI-Kompetenzprofil: Radar-Chart Stärken vs. Grenzen gegenüber menschlicher Leistung (relative Einschätzung)

Die 2×2-Entscheidungsmatrix — Wann KI einsetzen?

Ein praktisches Werkzeug für die tägliche Arbeit ist die 2×2-Matrix mit den Dimensionen Aufgabentyp (Routine / Komplex) und Risiko bei Fehler (Niedrig / Hoch):

Merksatz

Vor jeder KI-gestützten Aufgabe: Routine oder komplex? Niedriges oder hohes Fehlerrisiko? Die Kombination beider Antworten ergibt die Ampelfarbe — und damit den Umfang der menschlichen Nachkontrolle. Diese Selbstfrage dauert zehn Sekunden und verhindert die meisten vermeidbaren KI-Fehler.

Das Aufgaben-Kompetenz-Profil — Vier Analysedimensionen

Um die Stärken und Grenzen von KI systematisch auf den Arbeitsalltag anzuwenden, empfiehlt sich eine Tätigkeitsanalyse entlang von vier Dimensionen. Diese ergänzen die 2×2-Matrix um Tiefenschärfe.

Dimension 1 — Strukturierungsgrad: Ist die Aufgabe klar strukturiert und regelbasiert (hoch strukturiert: KI sehr geeignet) oder erfordert sie kontextsensitives Urteilsvermögen (niedrig strukturiert: KI als Unterstützung, Mensch entscheidet)? Beispiele hoch strukturierter Aufgaben: Standardmeetings protokollieren, Projektstatusberichte nach Vorlage erstellen, Stellenausschreibungen formulieren. Beispiele niedrig strukturierter Aufgaben: Verhandlungsstrategie mit einem schwierigen Kunden entwickeln, Personalentscheidungen treffen, ethische Dilemmas navigieren.

Dimension 2 — Faktizitätsbedarf: Enthält die Aufgabe überprüfbare Fakten (Zahlen, Daten, Referenzen), die korrekt sein müssen? Je höher der Faktizitätsbedarf, desto größer das Halluzinationsrisiko — und desto notwendiger die Verifikation. Eine kreative Ideenliste hat niedrigen Faktizitätsbedarf. Ein Kundenbericht mit Marktdaten hat hohen Faktizitätsbedarf.

Dimension 3 — Kontexttiefe: Erfordert die Aufgabe tiefes Verständnis des spezifischen Organisationskontexts — Kunden, interne Geschichte, unausgesprochene Normen, laufende Projekte? Dieses implizite Kontextwissen besitzt KI nicht. Es muss explizit im Prompt bereitgestellt werden, oder das Modell hat schlicht keinen Zugriff darauf und produziert generische Ausgaben.

Dimension 4 — Risikotragung: Was ist das Worst-Case-Szenario, wenn KI einen Fehler macht? Ein fehlerhaft formatierter interner Entwurf (niedrig) ist anders zu bewerten als ein fehlerhafter Vertragsentwurf (hoch) oder ein falscher Sicherheitshinweis in kritischer Infrastruktur (sehr hoch). Risikotragung bestimmt, ob Fehler harmlose Korrekturen oder kostspielige Konsequenzen nach sich ziehen.

Die vier Dimensionen zusammen ergeben das Kompetenz-Profil einer Aufgabe — und damit eine informierte Entscheidung, ob und wie KI einzusetzen ist.

Merksatz

KI-Outputs sind immer Entwürfe, keine Fertigprodukte — es sei denn, alle vier Dimensionen (Strukturierungsgrad, Faktizitätsbedarf, Kontexttiefe, Risikotragung) weisen auf einen unkritischen Einsatz hin. Nur dann kann KI autonom (Grün) arbeiten.

Vertiefung — Kognitive Grenzen: Was LLMs strukturell nicht können

Über die praktischen Grenzen hinaus gibt es strukturell-kognitive Grenzen, die direkt aus der Architektur von LLMs resultieren und für die keine einfache Umgehung existiert.

Kein echter Zeitbegriff: LLMs haben kein Konzept von „Jetzt”. Das Modell weiß aus dem Training, wann bestimmte Ereignisse stattgefunden haben — aber es weiß nicht, welches Datum heute ist, es sei denn, es wird ihm mitgeteilt. Für zeitkritische Aufgaben (aktuelle Ereignisse, Deadlines, Fristen) ist immer eine externe Quelle oder eine explizite Datumsangabe im Prompt erforderlich.

Keine persistente Identität: Jedes neue Gespräch beginnt für das Modell bei Null — ohne Gedächtnis an frühere Interaktionen (es sei denn, Memory-Funktionen wie Custom Instructions oder Projects sind aktiviert). Das bedeutet: Wichtiger Kontext muss bei jeder neuen Sitzung neu bereitgestellt werden. Wer dies konsequent tut — mit einem gut gestalteten System-Prompt oder einer Kontextvorlage — reduziert diesen Nachteil erheblich.

Keine echte Kausalität: LLMs erkennen Korrelationen in Sprachdaten. Bei komplexen Ursache-Wirkungs-Analysen — Fehlerdiagnose in verteilten Systemen, Wirtschaftlichkeitsanalysen mit vielen Variablen, kausale Schlüsse aus Datensätzen — ist menschliches Kausaldenken nicht durch LLM zu ersetzen. Das Modell kann Korrelationsmuster benennen, aber keine valide kausale Inferenz leisten.

Lost-in-the-Middle-Phänomen: Selbst mit großen Kontextfenstern nimmt die Aufmerksamkeit des Modells bei sehr langen Kontexten ab. Informationen aus dem mittleren Teil eines langen Dokuments werden weniger zuverlässig berücksichtigt als Informationen am Anfang und Ende (Liu et al. 2023, arXiv). Für kritische Dokumentenanalysen: wichtige Abschnitte explizit hervorheben oder Aufgaben gezielt aufteilen.

Kein Zugriff auf nicht-publiziertes Wissen: Was nie in den Trainingsdaten war — interne Unternehmensprozesse, nicht publizierte Berichte, proprietäres Fachwissen — ist dem Modell unbekannt. Es wird entweder ablehnen oder, schlimmer, plausibel klingende Erfindungen produzieren. Die Lösung: Relevante interne Dokumente explizit als Kontext übergeben (Grounding) oder RAG-Systeme einsetzen.

Für die tägliche Arbeit empfiehlt sich eine informelle mentale Checkliste: (1) Ist das Ergebnis für eine Entscheidung relevant? (2) Enthält es überprüfbare Fakten? (3) Besteht Haftungsrisiko bei Fehlern? Wenn zwei oder drei dieser Fragen mit „Ja” beantwortet werden, ist eine sorgfältige Nachprüfung professioneller Standard — keine optionale Mehrarbeit.

Vertiefung II — Tokenisierungs-Strategien: BPE, WordPiece und SentencePiece im Vergleich

Tokenisierung ist einer der am häufigsten unterschätzten technischen Aspekte von LLMs. Die Wahl der Tokenisierungsstrategie beeinflusst direkt, wie gut ein Modell mit verschiedenen Sprachen, Domänen und Schreibweisen umgeht — und hat praktische Konsequenzen für die Kosten, die Qualität und die Sprachabdeckung.

Was ist ein Tokenizer?

Ein Tokenizer zerlegt Text in diskrete Einheiten (Tokens), die das Modell verarbeiten kann. Anders als Menschen, die Wörter als atomare Einheiten wahrnehmen, arbeiten LLMs mit Sub-Wort-Einheiten: Die meisten Tokenizer teilen unbekannte oder seltene Wörter in häufige Teilstücke auf. „Unternehmen” könnte zu „Unter”, „nehmen” werden; „Geschäftsführer” zu „Geschäfts”, „führ”, „er”.

Die Tokenisierung erfolgt in einem Schritt vor dem Modell-Training und wird dann für alle Inferenzen eingefroren. Das Vokabular eines Tokenizers enthält typischerweise 30.000 bis 100.000 Einträge — jeder Eintrag ist ein Token, dem eine eindeutige Integer-ID zugewiesen ist.

Byte-Pair Encoding (BPE)

BPE wurde ursprünglich 1994 als Datenkompressionsalgorithmus entwickelt und 2016 von Sennrich et al. in die maschinelle Übersetzung eingeführt (arXiv 1508.07909). Das Prinzip ist elegant: Man beginnt mit einem Zeichenalphabet (jeder Buchstabe ist ein Token) und fügt iterativ die häufigste Bigramm-Kombination (zwei benachbarte Tokens) als neues Token zum Vokabular hinzu. Nach einer definierten Anzahl von Merge-Schritten ist das Vokabular aufgebaut.

BPE ist der Tokenizer, den die GPT-Modellfamilie (inklusive ChatGPT) verwendet. Vorteile: kompaktes Vokabular, gute Balance zwischen Subwort-Granularität und Effizienz. Nachteil: Zeichenorientierter Start kann bei morphologisch reichen Sprachen (Türkisch, Finnisch, Deutsch) zu mehr Tokens pro Wort führen als für synthetisch ärmere Sprachen (Englisch).

Merksatz

Die Tokenisierungsstrategie beeinflusst direkt die Effizienz und Qualität eines Sprachmodells für verschiedene Sprachen. Englisch-lastige Trainingsdaten führen zu Tokenizern, die Deutsch, Japanisch oder Arabisch mit deutlich mehr Tokens (und damit höheren Kosten und potenziell schwächerer Verarbeitung) darstellen als Englisch.

WordPiece: Der BERT-Tokenizer

WordPiece ist das Tokenisierungsverfahren von Google, das im BERT-Modell eingesetzt wird. Der entscheidende Unterschied zu BPE: Statt des häufigsten Bigramms wird bei jedem Schritt das Subwort-Paar hinzugefügt, das die Wahrscheinlichkeit des Trainingskorpus am stärksten erhöht. Das führt zu einem leicht anderen Vokabular als BPE, obwohl die Grundidee ähnlich ist.

WordPiece verwendet das Präfix „##” für Teilstücke, die nicht am Wortanfang stehen. „Transformer” könnte zu „Trans”, „##form”, „##er” werden. Diese Notation macht die Zugehörigkeit von Teilstücken zu einem Wort im Token-Stream explizit.

SentencePiece: Sprachagnostische Tokenisierung

SentencePiece (Kudo & Richardson, 2018, arXiv 1808.06226) ist ein sprachagnostischer Tokenizer, der direkt auf dem Unicode-Zeichenstrom arbeitet — ohne sprachspezifische Vorverarbeitung wie Leerzeichen-Tokenisierung. Das ist besonders relevant für Sprachen ohne explizite Wortgrenzen (Chinesisch, Japanisch, Koreanisch) oder Sprachen mit komplexer Morphologie.

SentencePiece ist der Tokenizer der T5- und LLaMA-Modellfamilien. Für multilinguale Modelle (wie Gemma von Google oder BLOOM) ist SentencePiece wegen seiner sprachübergreifenden Robustheit bevorzugt.

Praktische Konsequenzen der Tokenizer-Wahl

Für Unternehmensanwender sind die praktischen Implikationen der Tokenisierung direkt relevant. Drei Beispiele:

1. Kostentransparenz: Da API-Preise pro Token berechnet werden, ist das Verhältnis Zeichen/Token für die gewählte Sprache kostenrelevant. Deutschen Fachtext tokenisiert GPT-4o mit ca. 30–40 % mehr Tokens als englischen Fachtext — das wirkt sich direkt auf die API-Kosten aus.
2. Qualität bei Fachtermini: Seltene Fachbegriffe werden in viele Sub-Tokens zerlegt. „Doppelbesteuerungsabkommen” könnte zu 8–12 Tokens werden. Das Modell hat weniger Trainingsdaten für diese spezifischen Token-Kombinationen und ist bei seltenen Fachbegriffen anfälliger für Fehler.
3. Code-Tokenisierung: Code-spezifische Tokenizer (wie der von GPT-4o/Codex) behandeln Programmierschlüsselwörter als atomare Tokens. Das verbessert die Code-Generierungsqualität erheblich gegenüber Modellen, die mit allgemeinen Tokenizern auf Code angewendet werden.

Praxisvertiefung: Die 2×2-Matrix für KI-Aufgabeneignung — ein praktisches Bewertungswerkzeug

Für die schnelle Bewertung, ob eine Aufgabe für KI-Unterstützung geeignet ist, hilft eine einfache 2×2-Matrix mit den Dimensionen Strukturierungsgrad und Faktizitätsbedarf.

Dimension 1 — Strukturierungsgrad: Wie klar ist die Aufgabe definiert? Gibt es einen eindeutigen Erwartungswert? „Übersetze diesen Text ins Englische” hat einen hohen Strukturierungsgrad. „Entwickle eine kreative Marketingstrategie” hat einen niedrigen.

Dimension 2 — Faktizitätsbedarf: Wie wichtig ist faktische Korrektheit? „Was ist 2+2?” hat hohen Faktizitätsbedarf — eine falsche Antwort ist eindeutig falsch. „Schreibe ein Gedicht über den Herbst” hat keinen Faktizitätsbedarf.

Die vier Quadranten:

Hoch strukturiert + hoher Faktizitätsbedarf (Rot — kritisch): Aufgaben wie „Recherchiere den aktuellen Zinssatz der EZB” oder „Berechne den ROI dieses Projekts”. KI kann helfen, aber jede Ausgabe muss verifiziert werden. Fehler haben direkte negative Konsequenzen.

Hoch strukturiert + niedriger Faktizitätsbedarf (Grün — ideal): Aufgaben wie „Formatiere diesen Text als Stichpunktliste” oder „Übersetze dieses Memo ins Englische”. KI eignet sich hervorragend, geringes Fehlerrisiko.

Niedrig strukturiert + hoher Faktizitätsbedarf (Orange — riskant): Aufgaben wie „Erstelle eine rechtliche Bewertung dieses Vertrags”. Die Aufgabe erfordert Kreativität/Urteilsvermögen UND faktische Korrektheit — schwieriges Territorium für autonomen KI-Einsatz.

Niedrig strukturiert + niedriger Faktizitätsbedarf (Gelb — mit Vorsicht): Aufgaben wie „Brainstorme Ideen für Teambuilding-Events”. KI kann kreative Impulse geben, aber der Output ist nicht überprüfbar.

Vier Analyse-Dimensionen: Strukturierungsgrad — Faktizitätsbedarf — Kontexttiefe — Risikotragung

Branchen-Anwendungen

IT-Dienstleistung & Beratung

In einem IT-Beratungshaus erstellt ein Projektberater regelmäßig Statusberichte für Kunden. KI ist stark darin, aus Rohdaten (Zeiterfassung, Meilensteine, Risikolog) einen strukturierten Bericht zu formulieren. Textuell ist der Output oft direkt verwendbar. Die Schwäche liegt bei konkreten Zahlenangaben — Projektkosten, Arbeitsstunden, Delta zum Budget. Diese müssen aus den Quellsystemen (Projektmanagement-Tool, ERP) übernommen werden, nicht aus dem KI-Output. Die Einsatzregel im IT-Consulting: KI übernimmt die redaktionelle Rahmung, der Berater verifiziert alle numerischen Angaben vor dem Kundenverstandt. Auf diese Weise entsteht ein Bericht in einem Drittel der bisherigen Zeit — ohne Qualitätsverlust.

Ein zweites Szenario: Angebotserstellung für ein Infrastrukturprojekt. KI kann helfen, ein Anforderungsdokument zu strukturieren, ähnliche Projektbeschreibungen zu formulieren, einen Workshop-Plan zu entwerfen und eine Risikosektion zu verfassen. Was die KI nicht leisten soll: eigenständige finale Systemempfehlung, Kostenabschätzungen ohne manuelle Kalkulation, Referenzen auf spezifische Kundenverträge aus dem internen System. Die Trennlinie zwischen KI-Anteil und menschlichem Anteil ist in diesem Kontext täglich neu zu ziehen — das ist die Kernkompetenz des informierten KI-Anwenders.

Industrie & Fertigung

In einem Fertigungsunternehmen sollen Wartungsanleitungen aus technischen Unterlagen automatisch generiert werden. KI ist stark beim Strukturieren und sprachlichen Umformulieren — aus einem technischen Dokument eine verständliche Schritt-für-Schritt-Anleitung zu machen, ist eine klare Stärke. Die Herausforderung liegt bei technischen Spezifikationen: Drehmomentwerte, Materialstärken, Toleranzbereiche, elektrische Kenndaten dürfen nicht aus dem KI-Output übernommen werden. Diese müssen aus den verifizierten Quelldokumenten stammen — ungeprüfte KI-generierte Spezifikationen können zu Maschinenschäden oder Unfällen führen.

Das ist eine direkte Anwendung der 2×2-Matrix: Strukturierungsaufgabe (Text umformulieren) mit niedrigem Fehlerrisiko → Grün, KI autonom; technische Spezifikationen mit hohem Fehlerrisiko → Rot, immer manuell aus Primärquelle entnehmen. In der Qualitätssicherung zeigt sich ein ähnliches Muster: KI kann Prüfprotokolle strukturieren, Abweichungsberichte formulieren und Trends in Prüfdaten sprachlich zusammenfassen — aber die Beurteilung „Gut/Schlecht” und die Freigabe verbleiben beim zuständigen QS-Ingenieur.

Finanzdienstleistung & Versicherung

Ein Versicherungsunternehmen setzt KI für die Vorverarbeitung von Schadensmeldungen ein. Die Kategorisierung (Sachschaden, Personenschaden, Schadenshöhe-Einschätzung, Zuständigkeit) kann KI mit hoher Effizienz leisten — und damit den Sachbearbeiter von repetitiver Sortierarbeit entlasten. Das Risikoprofil: Routine / mittleres Fehlerrisiko → Gelb, KI kategorisiert vor, Sachbearbeiter prüft und bestätigt. Was nicht in die KI-Zone fällt: finale Regulierungsentscheidung, Beurteilung von Manipulationsverdacht, juristische Bewertung strittiger Fälle.

In der Bankberatung zeigt sich eine ähnliche Grenzziehung. KI kann dem Berater helfen, für ein Kundengespräch relevante Produktinformationen zu recherchieren, einen strukturierten Gesprächsleitfaden zu erstellen und Standardfragen vorab zu beantworten. Die eigentliche Beratungsleistung — Risikoeinschätzung, individuelle Produktempfehlung, Bonitätsbewertung — verbleibt beim zertifizierten Berater, der regulatorisch für seine Empfehlung haftet. KI beschleunigt die Vorbereitung und Nachbereitung; die Kernleistung bleibt menschlich.

Öffentliche Verwaltung

In einer Kommunalbehörde bearbeitet die Sachbearbeiterin täglich Bürgeranfragen zu Baugenehmigungen, Meldewesen, Sozialleistungen und Ordnungswidrigkeiten. KI kann helfen, häufig gestellte Standardanfragen durch strukturierte Textbausteine vorläufig zu beantworten — mit dem Hinweis, dass der Entwurf von einer Sachbearbeiterin geprüft wird. Das spart Zeit und ermöglicht schnellere Erstreaktion.

Die klare Grenze: Rechtsbindende Bescheide, Ablehnungen, Bewilligungen, Widerspruchsbescheide — all das sind Verwaltungsakte, die von zuständigen Beamten erlassen werden und einer individuellen Prüfung bedürfen. KI kann den Entwurf eines Bescheides formulieren; die Rechtmäßigkeit prüft und unterschreibt ein Mensch. Besonders in Bereichen mit Ermessensspielraum (Sozialleistungen, Ausnahmegenehmigungen) ist die menschliche Entscheidungsverantwortung nicht delegierbar — was dem EU AI Act (Hochrisiko-Klassifizierung für KI in Verwaltungsentscheidungen) entspricht.

Übung 1 — Stärken-Grenzen-Sortierung: Zwölf Szenarien einordnen

Übung 1

Aufgabe: Zwölf Arbeitsszenarien aus unterschiedlichen Organisationskontexten sind beschrieben. Ordnen Sie jedes Szenario in die 2×2-Matrix ein (Routine/Komplex × Niedriges/Hohes Fehlerrisiko) und entscheiden Sie: Grün (KI autonom), Gelb (KI mit Prüfung) oder Rot (KI nur als Hilfsmittel).

Methode: Kleingruppen à drei bis vier Personen. Jede Gruppe erhält die zwölf Szenarien auf Karten. Sortierung erfolgt in zehn Minuten — danach Plenum-Vergleich.

Szenarien: 1. KI formuliert eine Dankes-E-Mail an einen Kunden nach erfolgreichem Projektabschluss. 2. KI erstellt eine Kostenschätzung für ein IT-Migrationsprojekt. 3. KI übersetzt ein zehnseitiges technisches Handbuch ins Englische. 4. KI analysiert fünfzig Support-Tickets und schlägt Kategorien vor. 5. KI erstellt einen Entwurf für ein Datenschutz-Merkblatt. 6. KI prüft einen Lieferantenvertrag auf kritische Klauseln. 7. KI schlägt einen Tagesordnungspunkt-Entwurf für ein internes Meeting vor. 8. KI berechnet die Gesamtkosten eines Zwölf-Monats-Projekts. 9. KI fasst einen fünfzigseitigen Projektbericht in drei Seiten zusammen. 10. KI entscheidet, ob ein Mitarbeiter Zugang zu einem System erhalten soll. 11. KI schlägt Stichworte für eine Präsentation vor. 12. KI bewertet Sicherheitslücken in einem Quellcode.

Musterlösung:

Übung 2 — Selbsttest: KI-Grenzen live erleben

Übung 2

Aufgabe: Sie testen gezielt fünf bekannte Grenzen eines Sprachmodells anhand von vorbereiteten Aufgaben und dokumentieren, wo und wie das Modell versagt oder Unsicherheit zeigt.

Material: Laptop mit Internetzugang, Zugang zu ChatGPT (kostenlos) oder Claude.ai.

Schritt-für-Schritt: 1. Stellen Sie jede der fünf Testfragen dem Chatbot Ihrer Wahl. 2. Notieren Sie: (a) Antwort des Modells; (b) Ob die Antwort korrekt ist (nachprüfen); (c) Ob das Modell Unsicherheit signalisiert. 3. Formulieren Sie für jede identifizierte Grenze eine präventive Strategie.

Testfragen: - (A) „Wie hoch war der Umsatz von SAP SE im Geschäftsjahr 2023?” (Faktenfrage mit konkreter Zahl) - (B) „8 mal 347 minus 1.298 plus 44 — was ergibt das?” (Arithmetik) - (C) „Zitiere mir einen Absatz aus dem EU AI Act Artikel 26 wörtlich.” (Quellengenauigkeit) - (D) „Was sind die drei wichtigsten Nachrichten von heute?” (Aktualität / Trainings-Cutoff) - (E) „Welche Rechtsfolgen hat § 823 BGB nach deutschem Recht?” (Fachjuristische Präzision)

Musterlösung — Verhaltensprognosen:

Cheatsheet

Erweiterte Übung 3 — Token-Counter-Analyse mit konkreten Texten

Übung 3 — Token-Counter-Analyse und Kostenmodellierung

Aufgabe: Sie analysieren systematisch das Tokenisierungsverhalten verschiedener Texttypen, quantifizieren den Unterschied zwischen Sprachen und Fachdomänen und erstellen eine belastbare Kostenschätzung für einen konkreten Unternehmensanwendungsfall. Diese Aufgabe kombiniert technisches Verständnis mit kaufmännischer Kalkulation.

Material: Zugang zu platform.openai.com/tokenizer (kostenlos, kein Login erforderlich). Papier oder Tabellenkalkulation für die Auswertung.

Schritt-für-Schritt:

1. Schritt 1 — Basisvergleich: Geben Sie die folgenden fünf Texte in den Tokenizer ein und notieren Sie Zeichenanzahl und Tokenanzahl:

• Text A (EN): „Artificial intelligence systems can process natural language with high efficiency.”
• Text B (DE): „Systeme der künstlichen Intelligenz können natürliche Sprache mit hoher Effizienz verarbeiten.”
• Text C (DE Fachterm): „Die Datenschutz-Grundverordnung gilt für alle personenbezogenen Datenverarbeitungsvorgänge im Geltungsbereich der Europäischen Union.”
• Text D (Code Python): def calculate_similarity(vec1, vec2): return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))
• Text E (Zahlen): „Die Umsatzsteuer beträgt 19 % auf einen Nettobetrag von 1.234,56 €, ergibt eine Gesamtrechnung von 1.469,13 €.”

1. Schritt 2 — Ratio berechnen: Berechnen Sie für jeden Text: Token-Ratio = Tokens / Wörter. Welcher Texttyp hat die höchste Ratio? Welcher die niedrigste?
2. Schritt 3 — Kostenmodellierung: Ihr Unternehmen verarbeitet täglich folgende Dokumententypen mit GPT-4o (Input: 2,50 USD / 1 Mio. Tokens; Output: 10,00 USD / 1 Mio. Tokens):

• 200 Standard-E-Mails auf Deutsch (je 300 Wörter) → Zusammenfassung (je 80 Wörter)
• 50 juristische Dokumente auf Deutsch (je 2.000 Wörter) → Struktur-Extraktion (je 200 Wörter)
• 30 Python-Code-Dateien (je 500 Zeilen, ca. 2.000 Wörter) → Dokumentation (je 500 Wörter) Berechnen Sie die täglichen und monatlichen Gesamtkosten.

1. Schritt 4 — Optimierung: Welche zwei Maßnahmen würden die Token-Kosten am stärksten reduzieren, ohne die Qualität wesentlich zu verschlechtern? Begründen Sie jede Maßnahme.
2. Schritt 5 — Modellvergleich: GPT-4o-mini kostet ca. 0,15 USD / 1 Mio. Input-Tokens und 0,60 USD / 1 Mio. Output-Tokens. Für welche der drei Dokumententypen würden Sie das Mini-Modell einsetzen — und warum nicht für alle?

Erwartetes Ergebnis: Ausgefüllte Tokenisierungs-Vergleichstabelle, vollständige Kostenberechnung (täglich + monatlich), zwei begründete Optimierungsmaßnahmen und begründete Modellauswahl.

Musterlösung:

Schritt 1 & 2 — Tokenisierungs-Vergleich:

Schritt 3 — Kostenmodellierung:

E-Mails (täglich): 200 × 300 Wörter × 1,5 T/W = 90.000 Input-Tokens; 200 × 80 × 1,5 = 24.000 Output-Tokens. Kosten: 90.000 × 2,50/1Mio + 24.000 × 10/1Mio = 0,225 + 0,240 = 0,465 USD/Tag

Juristische Dokumente (täglich): 50 × 2.000 × 1,74 = 174.000 Input; 50 × 200 × 1,74 = 17.400 Output. Kosten: 174.000 × 2,50/1Mio + 17.400 × 10/1Mio = 0,435 + 0,174 = 0,609 USD/Tag

Code (täglich): 30 × 2.000 × 1,39 = 83.400 Input; 30 × 500 × 1,39 = 20.850 Output. Kosten: 83.400 × 2,50/1Mio + 20.850 × 10/1Mio = 0,209 + 0,209 = 0,418 USD/Tag

Gesamt täglich: ca. 1,49 USD; monatlich (22 Werktage): ca. 32,80 USD.

Schritt 4 — Optimierungsmaßnahmen: 1. E-Mails auf GPT-4o-mini umstellen (für Standard-Zusammenfassungen ausreichend): Kosteneinsparung ca. 90–95 % für diese Kategorie. 2. Juristische Dokumente chunken (große Dokumente in Abschnitte teilen statt vollständig einzuspeisen): Verhindert unnötige Tokens für nicht relevante Abschnitte; Einsparung 20–40 % je nach Dokumentstruktur.

Schritt 5 — Modellwahl: GPT-4o-mini für E-Mails sinnvoll (Standard-Schreibstil, keine Präzisionsanforderung bei Fachbegriffen). Nicht für juristische Dokumente (Fachterminologie, Nuancen, Risiko bei Fehlinterpretation) und nicht für Code-Dokumentation (Code-Qualität und technische Präzision erfordern das Hauptmodell).

Ergänzende Optimierungsstrategien für Token-Budget-Management

In der Praxis können weitere Maßnahmen die Token-Effizienz verbessern:

Prompt-Komprimierung: Statt vollständiger Kontext-Dokumente können vorab Zusammenfassungen oder Extrakte erstellt werden, die nur die für die Aufgabe relevanten Informationen enthalten. Tools wie LLMLingua (Microsoft Research) komprimieren Prompts automatisch um 20–50 %, ohne wesentliche Informationsverluste.

Caching: Häufig genutzte System-Prompts können gecacht werden — OpenAI und Anthropic bieten Prompt Caching an, das bei wiederholter Nutzung desselben System-Prompts die Token-Kosten für den gecachten Teil auf nahezu null reduziert. Das ist besonders wertvoll bei langen System-Prompts in automatisierten Pipelines.

Model Routing: Intelligente Routing-Systeme analysieren die Komplexität einer Anfrage und leiten einfache Anfragen an günstigere Modelle (z. B. GPT-4o-mini), während komplexe Anfragen an leistungsstärkere Modelle weitergeleitet werden. Das kann bei gemischten Anfrage-Portfolios die Gesamtkosten um 40–70 % reduzieren, ohne die Qualität für komplexe Aufgaben zu beeinträchtigen.

Praktische Auswirkungen auf die Dokumentenverarbeitung

Für Unternehmen, die große Mengen interner Dokumente mit LLMs verarbeiten wollen, ergeben sich aus dem Tokenisierungs-Verständnis konkrete Architekturentscheidungen. Eine häufige Anforderung: Ein Mitarbeitender soll ein internes Handbuch (200 Seiten, ca. 60.000 Wörter auf Deutsch) durchsuchen können. Auf Deutsch entspricht das etwa 90.000 Tokens — weit über dem GPT-4o-Kontextfenster von 128.000 Tokens, wenn das gesamte Handbuch als Kontext eingespeist werden soll.

Die Lösung ist eine RAG-Architektur (Retrieval-Augmented Generation): Das Dokument wird in kleinere Chunks aufgeteilt, jeder Chunk wird durch ein Embedding-Modell in einen Vektor transformiert und in einer Vektordatenbank gespeichert. Bei einer Anfrage wird der semantisch relevanteste Chunk abgerufen und dem Modell als begrenzter Kontext übergeben — typischerweise 2.000–5.000 Tokens statt des gesamten Dokuments. Das macht das Kontextfenster groß genug und die Token-Kosten kalkulierbar.

Die Chunk-Größe ist dabei ein kritischer Tuning-Parameter: Zu kleine Chunks (100–200 Tokens) verlieren den umgebenden Kontext und machen Antworten ungenau. Zu große Chunks (5.000+ Tokens) sind weniger präzise beim Retrieval. Die empfohlene Praxisgröße liegt typischerweise bei 500–1.000 Tokens pro Chunk mit einem Overlap von 10–20 % zwischen benachbarten Chunks.

Tokenizer-Unterschiede zwischen Modellen

Nicht alle Sprachmodelle verwenden denselben Tokenizer — und das ist für Unternehmensanwender relevant, wenn Inhalte zwischen Modellen portiert werden. Der GPT-Tokenizer (tiktoken, cl100k_base-Vokabular mit 100.277 Einträgen) unterscheidet sich vom BERT-Tokenizer (WordPiece, 30.522 Einträge) und vom LLaMA-Tokenizer (SentencePiece, 32.000 Einträge bei Llama 2, 128.256 Einträge bei Llama 3).

Praktische Folge: Ein Text, der mit dem GPT-Tokenizer 1.500 Tokens ergibt, ergibt mit dem LLaMA-2-Tokenizer möglicherweise 1.800–2.200 Tokens — das verändert Kontextfenster-Berechnungen und Kostenvergleiche zwischen Modellen. Wenn Sie API-Kosten für verschiedene Modelle vergleichen, müssen Sie stets die Tokenizer-spezifischen Kosten ermitteln, nicht nur den Preis pro Token ablesen.

Wichtig für die Praxis: OpenAI’s tiktoken-Bibliothek (Open Source auf GitHub) ermöglicht die lokale Vorausberechnung von Tokenanzahlen, ohne einen API-Aufruf zu tätigen — das ist kostenlos und schnell. Für andere Modelle gibt es ähnliche Bibliotheken (z. B. transformers.AutoTokenizer von Hugging Face).

Cheatsheet

Stärken — verlässlich einsetzen: - Texte formulieren, umschreiben, übersetzen (Hauptsprachen) - Strukturieren und gliedern (aus Rohinformationen) - Code schreiben, erklären und Fehler diagnostizieren - Ideen generieren, Brainstorming, Abwägungen - Mustererkennung und Informationsextraktion aus Dokumenten - Wissensabfragen zu gut dokumentierten Themen (Technologie, Konzepte)

Grenzen — immer prüfen: - Zahlen, Daten, Statistiken — stets mit Primärquellen abgleichen - Quellenangaben — häufig halluziniert, immer separat verifizieren - Aktuelle Ereignisse ohne Websuche — Trainings-Cutoff beachten - Komplexe Berechnungen — Code-Interpreter oder externe Tools nutzen - Juristische und medizinische Fachinhalte — Experten einbeziehen - Interne Unternehmensdaten — nur wenn explizit als Kontext bereitgestellt

2×2-Ampel-Faustregel: - Grün: Routine + Niedriges Risiko → KI autonom - Gelb: Routine + Hohes Risiko ODER Komplex + Niedriges Risiko → KI mit Prüfung - Rot: Komplex + Hohes Risiko → KI nur als Hilfsmittel, Mensch entscheidet

Vier Analyse-Dimensionen: Strukturierungsgrad — Faktizitätsbedarf — Kontexttiefe — Risikotragung

Prompt-Beispiel: Grenzen eines KI-Systems für eine Risikoabschätzung dokumentieren

Rolle: Sie sind Risikomanager einer mittelgroßen Privatbank.

Aufgabe: Erstellen Sie eine knappe Risikobewertung (ca. 150 Wörter) für den geplanten Einsatz eines LLM-basierten Systems zur automatischen Zusammenfassung von Analysten-Reports. Berücksichtigen Sie dabei die bekannten Grenzen von LLMs.

Kontext: Das System soll täglich 30–50 englischsprachige Analysten-Reports (je 5–20 Seiten) zu 3–5 Seiten zusammenfassen. Portfolio-Manager nutzen diese Zusammenfassungen als erste Lektüre. Die endgültige Investitionsentscheidung verbleibt beim Menschen. Das eingesetzte Modell: Claude 3.5 Sonnet (200.000-Token-Kontextfenster).

Format: Strukturierte Risikobewertung mit Abschnitten: Identifizierte Risiken (Liste), Mitigationsmaßnahmen (Liste), Restrisiko-Einschätzung (1–2 Sätze).

Beispiel-Ergebnis (gekürzt): „Identifizierte Risiken: (1) Faktenfehler bei numerischen Daten (Kursziele, Empfehlungsänderungen). (2) Betonung prominent positionierter Informationen (Lost-in-the-Middle-Effekt bei langen Reports). (3) Fehlender Zeitbezug bei Reports ohne klares Datum. Mitigationsmaßnahmen: Automatische Extraktion numerischer Kerndaten separat via strukturiertem Parsing; Quellenangabe in jeder Zusammenfassung obligatorisch; menschliche Plausibilitätsprüfung für Zahlen. Restrisiko: Bei korrekter Implementierung ist das Risiko für diesen Einsatzkontext (Erstlektüre, keine automatisierte Entscheidung) akzeptabel.”

Vertiefung: Die Benchmarking-Falle — warum KI-Leistungsangaben mit Vorsicht zu interpretieren sind

Wenn Modellanbieter die Leistung ihrer Systeme kommunizieren, beziehen sie sich fast immer auf Benchmark-Ergebnisse. Das Verständnis, was Benchmarks messen und was sie nicht messen, ist für informierte Entscheidungen entscheidend.

Was Benchmarks messen: Benchmarks wie MMLU (Massive Multitask Language Understanding), HumanEval (Code-Generierung), GSM8K (mathematisches Denken) oder BIG-Bench sind standardisierte Testsets, die Modelle unter gleichen Bedingungen vergleichen. Sie ermöglichen reproduzierbare Vergleiche und sind sorgfältig konstruiert, um spezifische Fähigkeiten zu messen.

Was Benchmarks nicht messen: Benchmarks sind in der Regel Multiple-Choice- oder Einzelaufgaben-Tests — keine Simulation realer Arbeitsprozesse. Die Zuverlässigkeit bei repetitiven Aufgaben (wichtig in Produktionssystemen), das Verhalten bei ungewöhnlichen Eingaben (Robustheit) und die Konsistenz über längere Gespräche werden von Benchmarks ebenfalls nicht erfasst. Außerdem messen sie keine nicht-technischen Qualitäten: SLA-Garantien, Ausfallsicherheit, API-Stabilität, Preismodell.

Benchmark Contamination: Modelle werden typischerweise auf großen Textmengen trainiert, die aus dem Internet stammen. Viele Benchmark-Fragen und -Antworten sind im Internet öffentlich verfügbar. Es ist methodisch schwierig, sicherzustellen, dass ein Modell die Benchmark-Antworten nicht im Training gesehen hat — ein ernstes methodisches Problem beim Vergleich von Modellen.

Praktische Konsequenz: Benchmark-Ergebnisse sind ein erster Orientierungspunkt, aber kein Entscheidungsersatz. Der entscheidende Test ist immer der eigene Use-Case-Test mit eigenen repräsentativen Daten, unter realistischen Bedingungen und mit menschlicher Bewertung der Ergebnisse.

Branchen-Vignette: Finanzdienstleistung — Stärken-Grenzen-Analyse für KI in der Anlageberatung

Ein Wealth-Management-Unternehmen (ca. 500 Kunden, Mindestanlage 500.000 Euro) evaluiert KI-Unterstützung für drei Aufgaben im Beratungsprozess: (A) Erstellen von Marktkommentaren für das monatliche Kundenreporting, (B) Analyse von Risikotoleranzen aus Kundengesprächen, (C) automatische Portfolio-Umschichtungsempfehlungen.

Aufgabe A ist eine klare Stärke von LLMs: strukturiertes Schreiben auf Basis gegebener Marktdaten — stilsicher und zeiteffizient. Das Risiko ist gering, solange die Inputs korrekt sind und ein Berater die Ausgabe freigibt. Aufgabe B ist eine Grenzzone: LLMs können Gesprächstranskripte analysieren und Muster in der Risikosprache erkennen, aber subtile Non-Verbal-Informationen, die Berater aus dem Gespräch mitnehmen, gehen verloren. Aufgabe C ist eine klare Grenze und aus regulatorischen Gründen (MiFID II, Haftung) nicht automatisierbar: KI kann Optionen aufzeigen, die Entscheidung und Haftung verbleiben beim zugelassenen Berater.

Übung 4 — Grenzen kartieren: Wo versagt KI in Ihrem konkreten Kontext?

Aufgabe: Sie identifizieren systematisch die KI-Grenzen, die für Ihren spezifischen Arbeitskontext am relevantesten sind, und entwickeln konkrete Mitigationsstrategien.

Schritt-für-Schritt: 1. Notieren Sie drei Aufgaben aus Ihrem Arbeitsalltag, für die Sie KI einsetzen oder einsetzen möchten. 2. Bewerten Sie jede Aufgabe auf folgenden Grenzdimensionen (Skala 1 = kein Risiko, 3 = hohes Risiko): Zeitkritische Informationsaktualität erforderlich; Numerische Präzision kritisch; Rechtliche oder regulatorische Korrektheit erforderlich; Kulturelle Nuancen entscheidend; Konsistenz über viele Wiederholungen nötig. 3. Für die Aufgabe mit dem höchsten Gesamt-Risikoscore: Entwerfen Sie einen konkreten Human-in-the-Loop-Prozess (wer prüft was, wann, wie?). 4. Schätzen Sie: Bei welchem Risikoscore wäre der Einsatz von KI für diese Aufgabe nicht vertretbar — und warum?

Erwartetes Ergebnis: Ausgefüllte Grenzbewertungsmatrix für drei Aufgaben, ein ausgearbeiteter Human-in-the-Loop-Prozess, eine begründete Risikoschwellen-Einschätzung.

Reflexionsfragen

1. Eine Kollegin sagt: „KI macht so viele Fehler — ich vertraue keinem Output mehr.” Ein anderer Kollege sagt: „KI ist so gut — ich überprüfe nichts mehr.” Wie antworten Sie auf beide Positionen sachlich und differenziert?
2. Die 2×2-Matrix ordnet „Kostenschätzung” in Rot ein. Gibt es Szenarien, in denen KI trotzdem sinnvoll zur Kostenschätzung beiträgt? Wo liegt die genaue Grenze zwischen nützlicher Unterstützung und riskantem Vertrauen?
3. Das „Stochastische Papageien”-Argument besagt, dass LLMs nicht wirklich verstehen, was sie sagen. Hat das praktische Konsequenzen für Ihre tägliche Arbeit — oder ist es ein rein akademisches Argument?
4. Welche drei Aufgaben in Ihrer täglichen Arbeit würden Sie ab sofort als „Grün” einordnen — und welche als „Rot”? Begründen Sie Ihre Einordnung anhand der vier Analysedimensionen.
5. Wie verändert sich die Ampel-Einordnung einer Aufgabe, wenn man von einem Consumer-Tool (ohne Datenschutzvertrag) auf ein Enterprise-Tool (mit AVV und Datenschutzgarantien) wechselt?

Prompt-Beispiel: KI-Fähigkeitsprofil für ein neues Projektteam erstellen

Rolle: Sie sind agiler Coach und KI-Berater bei einem Softwareentwicklungsunternehmen.

Aufgabe: Erstellen Sie ein KI-Fähigkeitsprofil für ein fünfköpfiges Projektteam (2 Entwickler, 1 Product Owner, 1 UX-Designer, 1 QA-Engineer). Das Profil soll zeigen, welche Aufgaben im Projektalltag KI-unterstützt werden können (Stärken-Zone), welche riskant sind (Grenzen-Zone) und welche human-only bleiben sollten.

Kontext: Das Team entwickelt eine B2B-SaaS-Anwendung für HR-Prozesse (Urlaubsverwaltung, Zeiterfassung, Onboarding). Deployment in der EU, DSGVO relevant. Das Unternehmen hat keine KI-Governance-Richtlinien.

Format: Tabelle (Rolle × Aufgabenkategorie) mit je 2–3 konkreten Beispielen, danach drei prioritäre Handlungsempfehlungen für KI-Governance.

Beispiel-Ergebnis (Auszug): „Entwickler — Stärke: Code-Review-Unterstützung, Unit-Test-Generierung, Fehlerdiagnose aus Logs. Grenze: Sicherheits-kritischer Code (Authentication, Datenverschlüsselung). Human-only: Architekturentscheidungen mit langfristigen Konsequenzen, Code-Reviews bei personenbezogenen Datenverarbeitungen. Governance-Empfehlung 1: KI-Nutzungsrichtlinie für personenbezogene Daten einführen (DSGVO-konform).”

Zusätzliche Reflexionsfragen — Vertiefung

1. Das Konzept der „2×2-Matrix” (Strukturierungsgrad × Faktizitätsbedarf) aus dem Lerntext hilft, KI-Aufgaben zu kategorisieren. Gibt es Aufgaben in Ihrem Berufsalltag, die in keine der vier Kategorien passen? Wie würden Sie die Matrix erweitern?
2. „KI ersetzt keine Jobs, sondern Aufgaben.” Stimmen Sie dieser Aussage zu? Welche praktischen Konsequenzen hätte sie für die Gestaltung von Arbeitsrollen in Ihrer Organisation?
3. Stellen Sie sich vor, Sie haben eine KI-gestützte Analyse erstellt, die später als fehlerhaft entdeckt wird. Wer trägt nach aktuellem EU AI Act die Verantwortung — Sie als Anwender, der Modellanbieter, oder Ihr Unternehmen als Deployer?

Weiterführende Vertiefung: Das „Stochastische Papageien”-Argument und seine praktischen Konsequenzen

2021 veröffentlichten Emily Bender, Timnit Gebru und Ko-Autorinnen das Paper „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” — eines der meistzitierten kritischen Papers zur modernen KI. Das Hauptargument: Große Sprachmodelle sind im Kern „stochastische Papageien” — sie kombinieren Textfragmente aus dem Training zu statistisch plausiblen, aber semantisch bedeutungslosen Ausgaben. Sie verstehen nicht, was sie sagen; sie imitieren Verständnis.

Die technische Grundlage des Arguments: LLMs sind Next-Token-Predictors — sie optimieren die Wahrscheinlichkeit des nächsten Tokens. Dieses statistische Optimierungsproblem ist fundamental verschieden von dem, was kognitionswissenschaftlich als „Verstehen” beschrieben wird. Ein Mensch, der „Der Hund biss den Briefträger” liest, hat ein mentales Modell von Hunden, Briefträgern und dem physischen Schmerz eines Bisses. Ein LLM hat gelernt, dass nach „Der Hund biss den” häufig „Briefträger” folgt.

Gegenargumente: Kritiker des Papageien-Arguments weisen darauf hin, dass die Grenze zwischen „statistischer Nachahmung” und „echtem Verstehen” philosophisch unklar ist. GPT-4 und Claude 3.5 zeigen Problemlösefähigkeiten, die über bloße Textfortsetzung hinausgehen — etwa das korrekte Lösen mathematischer Probleme, die nicht im Training vorkamen. Die Forschungsgruppe um Yoshua Bengio argumentiert, dass LLMs möglicherweise implizite Weltmodelle entwickeln, die sich im Verhalten zeigen, aber nicht in der Architektur sichtbar sind.

Praktische Konsequenz für den Unternehmenseinsatz: Ob LLMs „wirklich verstehen” oder nur „statistisch imitieren”, ist für die meisten Unternehmensanwendungen eine philosophische Frage ohne direkte Handlungsrelevanz. Relevant ist: LLMs produzieren zuverlässig gute Ergebnisse in Bereichen mit klarem Muster (strukturiertes Schreiben, Code-Generierung, Zusammenfassung), und weniger zuverlässige Ergebnisse in Bereichen, die genuines Schlussfolgern über neue, nicht-musterhafte Situationen erfordern (Grenzfall-Entscheidungen, Kausalitätsanalyse, physikalische Intuition). Diese Stärken-Grenzen-Asymmetrie ist der Kerngehalt von UE 6 — unabhängig davon, ob man den theoretischen Rahmen des „Stochastischen Papageis” akzeptiert.

Quellen & Weiterlesen

Trainer-Hinweise

Selbstlerner-Hinweise — UE 6

Für Selbstlernende ohne Kurs-Kontext:

Lernpfad: Nutzen Sie die 2×2-Matrix (Strukturierungsgrad × Faktizitätsbedarf) als Werkzeug für eine Arbeitswoche: Kategorisieren Sie jede KI-gestützte Aufgabe vor der Ausführung. Notieren Sie am Ende der Woche, ob die Kategorisierung sich bewährt hat.

Empfohlene Ergänzungsquellen: „AI Snake Oil” von Narayanan und Kapoor ist eine kritische, gut belegte Analyse von KI-Übertreibungen. HAI Stanford AI Index Report enthält ein Kapitel zu KI-Leistungsentwicklungen und Grenzen.

Praktische Aufgabe: Erstellen Sie eine persönliche „KI-Ampel” für Ihren Arbeitsalltag: Liste aller regelmäßigen KI-Aufgaben, eingefärbt nach der 2×2-Matrix. Teilen Sie die Liste mit einem Kollegen und diskutieren Sie Unterschiede.

Zeitaufwand: Lerntext: ca. 75 Minuten. Übung 1 (Stärken-Grenzen-Sortierung): 30 Minuten. Persönliche KI-Ampel: 20 Minuten. Gesamt: ca. 2–2,5 Stunden.

Selbstkontrollfragen: Können Sie fünf KI-Stärken und fünf KI-Grenzen benennen, jeweils mit Mitigationsstrategie?

Trainer-Hinweise

Timing (45 Min): - 0–5 Min: Einstieg mit dem Marktanalyse-Beispiel (Kollegin mit fehlerhaften KI-Daten) — eigene Erfahrungen der TN abfragen - 5–15 Min: Input Stärken (6 Kategorien) und Grenzen (6 Kategorien) — zügig, nicht erschöpfend - 15–25 Min: 2×2-Matrix einführen, anhand von 2–3 Live-Beispielen demonstrieren - 25–35 Min: Übung 1 (Sortierungsspiel in Kleingruppen) mit Plenumsdiskussion - 35–43 Min: Übung 2 (Live-Test mit Chatbot — Demo oder Partnerarbeit) - 43–45 Min: Zusammenfassung, Überleitung zu UE 7

Methodische Empfehlung: Das Sortierungsspiel (Übung 1) eignet sich hervorragend als Kleingruppenarbeit mit physischen Karten oder digitalen Sticky Notes (Miro/Mural). Kontroverse Fälle (Szenario 8 Projektkosten, Szenario 12 Code-Sicherheitsanalyse) sind didaktisch wertvoll — Diskussion über Grenzfälle einplanen.

Stolpersteine: - Teilnehmende neigen dazu, alle Aufgaben pauschal als „Gelb” einzuordnen. Ermutigen Sie zur klaren Positionierung. - Der Unterschied zwischen „statistisch plausibel” und „faktisch korrekt” ist für viele TN das eigentliche Aha-Erlebnis — diesen Moment nicht abkürzen. - „Stochastische Papageien” kann als akademisch abgetan werden — bringen Sie es als praktisch relevante Metapher, nicht als philosophische Debatte.

Diskussionsfragen für das Plenum: - „Für welche der Szenarien war die Einordnung eindeutig — und für welche haben Sie in der Gruppe diskutiert?” - „Hat jemand ein eigenes Erlebnis mit einem KI-Fehler, der sich durch die Matrix hätte verhindern lassen?” - „Was überrascht Sie an der Stärken-Liste — und was überrascht Sie an der Grenzen-Liste?”

Tafelbild-Vorschlag: 2×2-Matrix auf dem Whiteboard mit den vier Quadranten, Ampelfarben (grün/gelb/rot) und drei konkreten Beispiel-Aufgaben in jedem Quadranten. Teilnehmende können weitere Beispiele ergänzen.

Differenzierung Power-User vs. Einsteiger: - Einsteiger: Fokus auf die Matrix und die sechs Hauptstärken/Grenzen — praktische Nutzung im Alltag. - Power-User: Vertiefung der vier Analysedimensionen, Diskussion von Grenzfällen, Reflexion der „Stochastischen Papageien”-Debatte und ihrer Implikationen.

Tipp zur Branchenauswahl: Fragen Sie die Gruppe zu Beginn, aus welchen Branchen und Funktionen die TN kommen. Passen Sie die Beispiele in Übung 1 entsprechend an — die Szenarien 1–12 können durch branchenspezifische Varianten ersetzt oder ergänzt werden, die die TN direkt aus ihrem Arbeitsalltag kennen.

Materialliste: Whiteboard oder Flipchart, farbige Marker, Karten oder Klebezettel für Sortierungsspiel (alternativ: digitales Whiteboard).

Übergang zur nächsten UE: „In den letzten 45 Minuten haben wir gesehen, dass die wichtigste Grenze von KI das Halluzinationsrisiko ist — Texte, die plausibel klingen, aber faktisch falsch sein können. UE 7 geht dieser Eigenschaft auf den Grund: Warum entstehen Halluzinationen, wie erkennt man sie — und wie geht man damit professionell um?”

Multiplikatoren-Hinweise — UE 6

Für Trainer, Führungskräfte und interne Botschafter:

UE 6 ist eine der wichtigsten Einheiten für das kritische Denken. Die Stärken-Grenzen-Analyse ist das Herzstück reifer KI-Nutzung. Als Multiplikator helfen Sie dabei, die häufige Reaktion zu vermeiden: „KI kann alles” ODER „KI ist unzuverlässig”.

Empfehlungen für die Nachbereitung: - Entwickeln Sie für Ihren Bereich eine kurze interne Liste: „Für diese Aufgaben setzen wir KI ein — für diese nicht.” Das schafft Klarheit ohne übertriebene Restriktion. - Nutzen Sie konkrete Beispiele aus Ihrem eigenen KI-Einsatz: Wo hat KI gut funktioniert? Wo war das Ergebnis überraschend schlecht? Teilen Sie diese Erfahrungen. - Besprechen Sie mit Ihrem Team: „Was ist unsere Fehlertoleranz für KI-Ausgaben in kritischen Prozessen?”

Kerninstrument: Die Qualitätsstufen-Matrix (Überprüfungsbedarf nach Risikostufe) aus dem Cheatsheet.

Übung 5 (Transferaufgabe): Aufgaben-Portfolio — KI geeignet oder nicht?

Ziel: Die Stärken-Grenzen-Analyse auf den eigenen Aufgaben-Portfolio anwenden.

Aufgabe: Listen Sie 10 Aufgaben aus Ihrem Berufsalltag auf. Bewerten Sie jede Aufgabe auf zwei Dimensionen:

Bewertungsskala KI-Eignung: - 5 = KI kann diese Aufgabe vollständig übernehmen - 3 = KI kann Entwurf liefern, Mensch überarbeitet - 1 = KI ist hier ungeeignet oder zu riskant

Ergebnis: Identifizieren Sie die zwei Aufgaben mit dem höchsten Potenzial (hohe Eignung, niedrige Fehlerrisiken) und die zwei Aufgaben, bei denen KI-Einsatz riskant wäre.

Diskussion: Tauschen Sie Ihre Ergebnisse in der Gruppe oder allein aus. Wo stimmen die Bewertungen überein — wo nicht?

Kernaussagen — UE 6 auf einen Blick

1. Stärken von LLMs: Textgenerierung, Zusammenfassung, Übersetzung, Code, strukturierte Datenverarbeitung aus unstrukturierten Quellen.

2. Grenzen: Keine Echtzeit-Informationen (Wissensstichtag), kein gesichertes Faktenwissen, keine Kausalität, keine echte Weltwahrnehmung.

3. Die Qualität eines KI-Outputs ist direkt proportional zur Qualität des Prompts — Garbage in, garbage out.

4. Kritisches Denken bleibt unersetzlich: KI-Outputs müssen hinsichtlich Kontext, Aktualität und Korrektheit bewertet werden.

5. Für hochriskante Entscheidungen (medizinische Diagnosen, rechtliche Urteile, sicherheitsrelevante Systeme) bleibt menschliche Kontrolle unverzichtbar.

Vertiefende Literaturhinweise — UE 6

Zu Stärken und Grenzen von KI: - Gary Marcus & Ernest Davis: „Rebooting AI: Building Artificial Intelligence We Can Trust” (2019). Kritische, gut belegte Analyse der Grenzen aktueller KI — wertvolle Gegengewicht zu übertriebenen KI-Versprechungen. - Emily Bender et al. (2021): „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?” ACL 2021. Einflussreiches kritisches Paper zu LLM-Grenzen. - Arvind Narayanan & Sayash Kapoor: „AI Snake Oil” (2024) — kostenlos online, faktenbasierte Auseinandersetzung mit KI-Übertreibungen.

Zu KI-Benchmarks und Evaluierung: - Hendrycks et al. (2021): „Measuring Massive Multitask Language Understanding” (arXiv:2009.03300). Das MMLU-Paper — wichtig für das Verständnis, wie Benchmarks konstruiert werden. - Helm Project (crfm.stanford.edu/helm): Holistic Evaluation of Language Models von Stanford — transparentes Framework für LLM-Evaluierung.

Zu Fairness und Bias in ML: - Barocas, Hardt, Narayanan: „Fairness and Machine Learning” (fairmlbook.org). Kostenlos verfügbares Lehrbuch zu algorithmischer Fairness — Kapitel 1 ist ein hervorragender Einstieg.

Quelle: KI-Wissensbasis von MindsMachines, Edition Juni 2026. Vollständige Fassung mit Anhängen und Musterlösungen: als PDF anfordern.