Warum wir unser Personal auch auf falsche und manipulierte KI-Antworten trainieren sollten.
Phishing-Kampagnen sind längst Standard: Unternehmen verschicken gezielt Emails mit bekannten Angriffsmustern. Wer klickt, bekommt einen Lernmoment statt eines Schadens. Das Prinzip funktioniert, weil es Aufmerksamkeit trainiert – nicht in einer einmaligen Schulung, sondern immer wieder, unangekündigt, im Arbeitsalltag.
Das Instrument ist erprobt, und zwar über Phishing hinaus: An Flughäfen läuft seit Jahren dasselbe Prinzip unter dem Namen Threat Image Projection. Röntgen-Screenern werden in echte Gepäckscans gelegentlich fiktive Bedrohungsbilder – Waffen, Messer, Sprengsätze – eingeblendet. Das hält ihre Aufmerksamkeit wach und misst zugleich ihre Trefferquote im laufenden Betrieb. Wenig erprobt und verbreitet ist bislang die Übertragung dieses Werkzeugs auf eine neue Fehlerquelle: die KI-Antwort. Doch dies dürfte so selbstverständlich werden wie herkömmliche Phishing-Kampagnen.
Das Problem: Vertrauen wird zur Gewohnheit
Mitarbeitende nutzen LLMs inzwischen täglich – für Recherche, Zusammenfassungen, Code, Kundenkommunikation. Die Antworten klingen kompetent, sind gut formuliert und meistens richtig. Genau das ist die Falle: Meistens richtig erzeugt mit der Zeit blindes Vertrauen. Wer hundertmal korrekte Antworten bekommt, prüft die hunderteinte nicht mehr.
Dieser Effekt ist gut untersucht und hat Namen: automation bias – die Neigung, maschinellen Ausgaben mehr zu vertrauen als der eigenen Prüfung – und vigilance decrement, der messbare Abfall der Erkennungsleistung bei passiver Überwachung. Beides verschärft sich, je zuverlässiger das System die meiste Zeit funktioniert. Die unbequeme Konsequenz: Ein Mensch, der jede Agenten-Ausgabe nur noch müde abnickt, ist als Kontrollinstanz wertlos. Sein Wert entsteht erst dort, wo er nicht reflexhaft «Ja» klickt. Und je mehr Routine an Agenten delegiert wird, desto schneller verfällt genau diese Wachheit – wer selten selbst prüft, verlernt das Prüfen.
Die Risiken sind dabei zweifach:
Sicherheit: Halluzinierte Fakten wandern in Verträge, Berichte oder Kundenantworten. Und es bleibt nicht bei Versehen: Manipulierte Antworten – durch Prompt Injection über präparierte Dokumente, kompromittierte Quellen in der Lieferkette oder gezieltes Social Engineering über AI Agenten – können Mitarbeitende bewusst zu falschen Handlungen verleiten. Der Angriff nutzt denselben Kanal wie der Zufallsfehler und tarnt sich in derselben kompetent klingenden Sprache. Für die Belegschaft ist die Abwehr in beiden Fällen dieselbe Bewegung: stutzen und prüfen, statt übernehmen.
Produktivität: Gut tarierte AI-Systeme erfordern nicht grundlos menschliche Freigaben für bestimmte Schritte. Mitarbeiter, die solche Freigaben unbesehen erteilen, sind unproduktiv.
Es gibt bereits ein Vorbild
Threat Image Projection zeigt seit Jahren, dass sich beides gleichzeitig erreichen lässt – Wachheit erhalten und Leistung messen, ohne den Betrieb zu stören. Dieselbe Einspielung, die den Screener bei der Sache hält, liefert die Kennzahl, wie gut er tatsächlich Bedrohungen erkennt. Genau diese Doppelwirkung rechtfertigt den Aufwand auch für KI-Antworten: Man erhöht nicht nur die Sicherheit, sondern hält die Belegschaft aufmerksam – und aufmerksame Mitarbeitende sind auch wirtschaftlich die wertvolleren. Verwandt ist zudem das Prebunking aus der Fehlinformations-Forschung – Menschen vorab gegen Täuschungsmuster «impfen».
Der Vorschlag: Simulierte Fehlantworten als Trainingsinstrument
Analog zu Phishing-Simulation und Threat Image Projection lassen sich in unternehmensinterne KI-Assistenten gelegentlich kontrollierte Fehlantworten einspielen: eine erfundene Quelle, eine plausibel klingende, aber falsche Zahl, eine Handlungsempfehlung, die gegen interne Richtlinien verstösst – oder, näher am Angriff, eine Antwort, die zu einer riskanten Aktion drängt, wie sie eine echte Prompt Injection auslösen würde.
Wer den Fehler übernimmt, bekommt – wie beim Klick auf den Phishing-Link – sofort eine Aufklärung: Das war eine Simulation. So hättest du den Fehler erkennen können. Wer ihn erkennt und meldet, bekommt positives Feedback. Das ist eine bewusst eingebaute «friction role»: ein Moment, der den Menschen zu einer aktiven Prüfhandlung zwingt, statt ihn passiv durchwinken zu lassen.
Für dieses Vorgehen auf KI-Antworten gibt es noch keinen etablierten Namen, und erst vereinzelt wird es überhaupt formuliert – etwa von Leigh Coney, mit dem Vorschlag, gezielt Fehler in KI-Ausgaben einzuspielen und anschliessend zu messen, wer sie erkennt. Wir nennen es hier AI Fault Projection – bewusst angelehnt an Threat Image Projection und an die Fault Injection aus dem Reliability-Engineering (bewusst Fehler einschleusen, um die Robustheit eines Systems zu prüfen; das getestete System ist hier der Mensch in der Kontrollschleife). «Fault» ist mit Absicht breit gewählt: Gemeint ist jeder Defekt in der Antwort, ob versehentlich halluziniert oder gezielt eingeschleust.
Dass sich die Erkennungsfähigkeit überhaupt messen und trainieren lässt, zeigen erste wissenschaftliche Arbeiten: In einer Studie mit 142 Ärztinnen und Ärzten in Weiterbildung, die eingespielte ChatGPT-Halluzinationen erkennen sollten, lag die mittlere Genauigkeit bei nur 55 % – kaum über dem Zufall, und ein deutlicher Hinweis, dass hier Trainingsbedarf besteht.
Woran man Fehlantworten erkennt
Gute Simulationen bilden reale Fehlermuster ab – und jedes hat ein eigenes Prüfsignal, das sich trainieren lässt:
- Erfundene Referenz oder Quelle – gegen die Primärquelle prüfbar: Existiert die zitierte Norm, Studie oder Textstelle überhaupt, und sagt sie das Behauptete?
- Falsche Zahl oder Tatsache – Grössenordnungs- und Plausibilitätscheck: Passt der Wert zum bekannten Rahmen, oder ist er «zu präzise» für das, was das Modell wissen kann?
- Richtlinienwidrige Empfehlung – Abgleich mit den internen Vorgaben: Würde ich diesen Schritt ohne KI genauso gehen, oder widerspricht er einer Regel, die ich kenne?
- Manipulative Handlungsaufforderung (die Angriffsklasse) – Misstrauen bei ungewöhnlicher Dringlichkeit oder bei Aktionen, die nicht aus dem Auftrag folgen: Geld bewegen, Zugänge herausgeben, etwas weiterleiten.
Die ersten drei Muster decken die versehentliche Fehlerklasse ab, das letzte die bösartige – die Prüfbewegung ist jedes Mal dieselbe: kurz innehalten und die Antwort gegen eine unabhängige Referenz halten.
Was es technisch braucht
Weniger, als man denkt. Kern ist ein LLM-Proxy zwischen Mitarbeitenden und Sprachmodell – gleichgültig, ob das Modell lokal läuft oder als SaaS bezogen wird (ChatGPT, Copilot und Ähnliche). Als quelloffene Proxies eignen sich etwa LiteLLM und das Portkey AI Gateway. Über diesen Proxy lässt sich eine präparierte Fehlantwort gezielt einschleusen und danach wieder auflösen. Entscheidend ist: Diesen Proxy braucht ein Unternehmen ohnehin – für Data Loss Prevention, also um zu verhindern, dass vertrauliche Daten unkontrolliert in externe Modelle abfliessen. AI Fault Projection ist damit keine neue Infrastruktur, sondern eine Zusatzfunktion auf einer Komponente, die aus Datenschutzgründen ohnehin sinnvoll ist.
Worauf es ankommt
Transparenz vorab: Wie bei Phishing-Kampagnen muss die Belegschaft grundsätzlich wissen, dass Simulationen stattfinden – nur nicht wann.
Rechtlicher Rahmen: Wer individuelle Trefferquoten erfasst, bewegt sich im Bereich von Art. 26 ArGV 3 (Verordnung 3 zum Arbeitsgesetz; keine Überwachungssysteme zur reinen Verhaltenskontrolle), Datenschutz und betrieblicher Mitwirkung.
Dosierung: Zu häufige Fehlantworten machen das Werkzeug unbrauchbar und untergraben die Produktivität, die man schützen will. Selten, gezielt, lehrreich.
Realistische Szenarien: Die besten Simulationen orientieren sich an echten Fehlermustern – erfundene Referenzen, veraltete Daten, überzeugend falsche Detailangaben, manipulative Handlungsaufforderungen – nicht an offensichtlichem Unsinn.
Verlässliche Aufklärung: Man baut absichtlich Fehler in ein Werkzeug ein, mit dem die Belegschaft arbeiten soll. Bleibt die Auflösung «das war eine Simulation» aus oder kommt zu spät, hat man realen Schaden angerichtet, statt vor ihm zu schützen. Die Simulation braucht harte Leitplanken: Klare Kennzeichnung nach der Auflösung, kein Übergriff in produktive Vorgänge, kein Szenario, dessen Fehlübernahme sich nicht rückgängig machen lässt.
So starten Sie
Der Einstieg ist klein: ein Pilot in einem einzigen Team. Zuerst den Basiswert der Erkennungsrate erheben, dann zwei bis drei realistische Szenariotypen definieren, selten und unangekündigt einspielen und nach einigen Wochen im aggregierten Reporting auswerten. Erst wenn das Team den Nutzen sieht und die Leitplanken greifen, lohnt sich die Ausweitung.
Fazit
Phishing-Simulationen und Threat Image Projection haben gezeigt: Aufmerksamkeit ist trainierbar, aber sie verfällt ohne regelmässige Auffrischung. Mit KI-Assistenten und Agenten am Arbeitsplatz brauchen wir dasselbe erprobte Prinzip für eine neue Fehlerquelle – eine, die zufällig danebenliegen oder gezielt manipuliert sein kann. Wer heute damit beginnt, trainiert seiner Belegschaft nicht Misstrauen an, sondern die wertvollste Fähigkeit im KI-Zeitalter: zu wissen, wann man genauer hinschauen muss.
Wir begleiten solche Piloten von der Machbarkeits- und Rechtsprüfung über die Proxy-Anbindung bis zum ersten Durchlauf in einem Team. Wer AI Fault Projection ausprobieren oder Security-Awareness auf den Umgang mit KI-Assistenten ausweiten möchte, findet bei Limacher IT-Security gerne Unterstützung.