Wenn die KI plausibel falsch liegt
Plausible KI-Ergebnisse können falsch sein. Ein klar gekennzeichnetes Beispiel, drei Prüfwege und eine konkrete Freigabe-Prüfliste für den Betrieb.
Ein plausibles KI-Ergebnis braucht einen Prüfweg, der auf die tatsächliche Aufgabe und ihre Folgen abgestimmt ist. Eine überzeugende Erklärung oder mehrere übereinstimmende Antworten belegen noch keine Richtigkeit. Vergleichen Sie wichtige Angaben mit der Originalquelle und legen Sie fest, welche Unsicherheit eine Entscheidung stoppen soll.
Das NIST beschreibt im Profil für generative KI das Risiko, dass Systeme falsche Inhalte überzeugend ausgeben. Daneben können auch gewöhnliche Programme Daten falsch lesen oder zuordnen. Für den Betrieb ist entscheidend, an welcher Stelle der Fehler entsteht und wie er erkannt wird.
Ein Beispiel: nicht gefunden ist nicht nicht lieferbar
Das folgende Beispiel erläutert einen möglichen Fehlerweg; es ist kein vermessenes Kundenresultat. Ein Betrieb gleicht sein Sortiment mit einem Lieferantenportal ab. Der Suchcode kennt nur eine von zwei Adressformen. Für einige Artikel findet er deshalb keine Produktseite.
Wird «Produktseite nicht gefunden» als «Artikel nicht mehr lieferbar» ausgegeben, entsteht eine fachlich falsche Aussage aus einer technischen Lücke. Eine KI kann diese Aussage anschliessend überzeugend zusammenfassen. Der Ursprung des Fehlers liegt hier im Suchcode und in der Interpretation, nicht zwangsläufig im Sprachmodell.
Eine Stichprobe mit demselben Suchcode kann den Fehler wiederholen. Prüfen Sie deshalb ausgewählte Artikel über einen anderen Zugang, etwa im Portal anhand der exakten Artikelnummer. Auch eine gefundene Produktseite belegt noch keine aktuelle Lieferbarkeit: Dafür muss das passende Verfügbarkeitsmerkmal geprüft werden.
Drei Prüfwege für laufende Abläufe
- Unabhängiger Abgleich: Prüfen Sie Ergebnis und Originalquelle über einen anderen Weg. Bei Zusammenfassungen kann das der Vergleich mit dem Originaldokument sein, bei Berechnungen ein separat nachvollzogener Rechenweg. Ein zweites Modell allein ist kein unabhängiger Wahrheitsbeleg.
- Vergleich im Verlauf: Halten Sie Umfang, erfolgreiche Zuordnungen und ungeklärte Fälle je Lauf fest. Ein abrupter Unterschied ist ein Anlass zur Prüfung, kein automatischer Beweis eines Fehlers. Änderungen am Sortiment oder an der Quelle gehören in die Einordnung.
- Kontrolle ausgebliebener Läufe: Vereinbaren Sie, wann ein erfolgreicher Lauf erwartet wird und wer eine Überschreitung prüft. Die Kontrolle soll möglichst getrennt vom überwachten Ablauf arbeiten. Prüfen Sie auch, ob die Meldung tatsächlich beim Verantwortlichen ankommt.
Diese Prüfwege ergänzen sich. Sie garantieren keine fehlerfreien Ergebnisse und ersetzen bei folgenreichen Entscheidungen keine fachliche Freigabe.
Unklaren Status ausdrücklich erhalten
Unterscheiden Sie mindestens: geprüftes Ergebnis, fachliche Ausnahme und technisch ungeklärter Fall. Ein fehlender Wert darf nicht stillschweigend zu «nein», «null» oder «nicht vorhanden» werden. Dokumentieren Sie bei wichtigen Ergebnissen Quelle, Prüfzeitpunkt und verwendete Zuordnungsregel.
Ein unbekannter Lieferstatus kann beispielsweise zur manuellen Prüfung führen. Er sollte ohne bestätigte Fachregel weder automatisch einen Artikel sperren noch eine Lieferzusage auslösen. Welche Aktion erlaubt ist, hängt von Ihrem Ablauf ab.
Eine kurze Prüfliste vor der Freigabe
- Welche Originalquelle trägt die Aussage, und ist sie für diesen Fall aktuell genug?
- Wurde der richtige Kunde, Artikel oder Vorgang zugeordnet?
- Sind Zahlen, Einheiten, Zeitraum und Bezugsmenge nachvollziehbar?
- Welche bekannten Sonderfälle und absichtlich fehlenden Angaben wurden geprüft?
- Welche Entscheidung bleibt gesperrt, wenn die Prüfung unklar ausfällt?
- Wer prüft Abweichungen und ausgebliebene Läufe, und wurde dieser Meldeweg erprobt?
Für einen ersten Versuch reichen klar abgegrenzte, repräsentative Fälle mit bekannten Soll-Ergebnissen. Ergänzen Sie schwierige Fälle und dokumentieren Sie die Grenzen der Stichprobe. Aus einem kleinen Test lässt sich keine allgemeine Erfolgsquote ableiten.
Wie Sie den nächsten Schritt festlegen
Nehmen Sie einen konkreten Ablauf und bestimmen Sie zuerst, welche Fehlentscheidung den grössten Schaden verursachen würde. Dafür planen Sie den Prüfweg und die Zuständigkeit. Erst danach entscheiden Sie, welcher Teil selbständig laufen darf. Dazu passen unsere Prüfpunkte für KI-Agenten und die Prozessanalyse.
Quelle und Einordnung
Das NIST-Profil für generative KI, Abschnitt 2.2 beschreibt überzeugend ausgegebene falsche Inhalte als Risiko. Die Ablaufbeispiele und Prüflisten hier sind unsere praktische Einordnung, keine Zertifizierung oder Vollständigkeitszusage.
Überarbeitung vom 11. Oktober 2026: frühere konkrete Trefferquoten und Artikelzahlen ohne hier nachvollziehbare Messgrundlage entfernt; Beispiel, technische Fehlerursache und Prüfwege klarer getrennt.
