Menschen im Regelkreis für KI-Agenten: Genehmigungen gestalten, die Risiken senken, ohne die Arbeit zu blockieren

Das Problem: „Ein Mensch genehmigt“ definiert keine ausreichende Kontrolle

Ein Agent, der interne Systeme abfragen, Datensätze ändern, Mitteilungen versenden oder Transaktionen auslösen kann, wird nicht allein dadurch risikolos, dass irgendwo im Ablauf eine Person beteiligt ist. Aufsicht funktioniert nur dann, wenn die menschliche Intervention substanziell ist: Die Person muss die vorgeschlagene Entscheidung verstehen, verhindern, korrigieren oder den Prozess stoppen können, bevor er eine Wirkung erzeugt, die über die akzeptierte Autonomie hinausgeht.

Die Formulierung „erfordert menschliche Genehmigung“ verdeckt häufig entscheidende Gestaltungsfragen. Sie sagt nicht, welcher Bestandteil genehmigt wird – ein Ziel, ein Plan, eine konkrete Aktion oder ein Stapel von Aktionen. Sie benennt weder die Person mit Genehmigungsbefugnis noch die verfügbaren Informationen, die maximale Antwortzeit oder das Standardverhalten bei Schweigen. Ohne diese Festlegungen kann die Genehmigung zur Formalität werden oder, am anderen Ende des Spektrums, zu einer Warteschlange, die verhindert, dass der Workflow Nutzen stiftet.

Es ist sinnvoll, die Genehmigung als Entscheidungskontrolle und nicht als Benutzeroberfläche zu behandeln. Die Kontrolle muss eine Aktionsklasse mit einem Risikoniveau, einer verantwortlichen Rolle, einem Mindestumfang an Nachweisen, einer Ausführungsregel und einem auditierbaren Protokoll verbinden. Technische Berechtigungen bleiben weiterhin erforderlich: Eine Genehmigung sollte die Privilegien des Agenten weder erweitern noch die Autorisierung des Zielsystems ersetzen.

Dieser Ansatz ergänzt die allgemeine Gestaltung von Agenten, die im Lernbereich behandelt wird, und muss mit Entscheidungen zur Bewertung und zur Auswahl von Werkzeugen abgestimmt werden. Der Fokus ist hier jedoch enger: Es geht darum zu entscheiden, an welcher Stelle eine Person bei einer Agentenaktion eingreift und wie sich später nachweisen lässt, dass diese Intervention wirksam war.

Drei Modalitäten, die nicht verwechselt werden dürfen: vorherige Genehmigung, nachträgliche Prüfung und Notstopp

Eine vorherige Genehmigung hält eine Aktion an, bevor sie eine externe Wirkung entfaltet. Dieses Muster eignet sich, wenn die potenzielle Auswirkung hoch ist, die Rückgängigmachung begrenzt ist, sensible Daten verarbeitet werden oder noch nicht genügend Nachweise dafür vorliegen, dass der Agent in diesem Fall zuverlässig handelt. Ihr Preis sind Wartezeit und Belastung der prüfenden Person; daher sollte sie nicht unterschiedslos verlangt werden.

Eine nachträgliche Prüfung erlaubt die Ausführung einer Aktion innerhalb vorab festgelegter Grenzen und untersucht anschließend eine Stichprobe, einen Alarm oder die gesamte Ergebnismenge. Sie eignet sich, wenn der Schaden begrenzt und reversibel ist, ein erprobter Korrekturmechanismus besteht und die Organisation unerwünschte Wirkungen schnell erkennen kann. Sie ist nicht mit fehlender Kontrolle gleichzusetzen: Vollständige Protokolle, Alarmschwellen, Verantwortliche für die Nachverfolgung und eine tatsächliche Fähigkeit zur Rückgängigmachung sind erforderlich.

Der Notstopp ist ein separater Mechanismus. Er muss ermöglichen, eine konkrete Ausführung zu pausieren, eine Integration zu deaktivieren oder einer Aktionsklasse vorübergehend ihre Autonomie zu entziehen. Er ist selbst in Workflows mit vorheriger Genehmigung notwendig, weil systemische Vorfälle, Manipulationssignale oder Kontextänderungen auftreten können, die eine Fortsetzung unangemessen machen. Leitlinien zum Umgang mit agentischen Risiken empfehlen Kontrollen, um autonome Verhaltensweisen zu lenken, zu korrigieren und zu unterbrechen, insbesondere bei folgenreichen Aktionen oder mehrdeutigen Eingaben.

Daneben gibt es die Klärungsintervention: Der Ablauf wird angehalten, um fehlende Informationen einzuholen, nicht aber, um eine bereits eindeutig spezifizierte Aktion zu autorisieren. Die Trennung von der Genehmigung verhindert, dass eine informative Antwort fälschlich als Einwilligung zur Ausführung verstanden wird. Manche Workflow-Plattformen stellen menschliche Schritte bereit, die eine laufende Ausführung aussetzen und um Prüfung oder zusätzliche Informationen bitten können; das technische Muster bestimmt jedoch nicht selbst die Risikopolitik.

Eine Entscheidungsmatrix aufbauen: Auswirkung, Reversibilität, Sensibilität, Umfang und empirische Zuverlässigkeit

Es gibt keine universelle Liste von Aktionen, die immer eine Genehmigung erfordern. Die Einordnung muss von der konkreten Aktion und ihrem Kontext ausgehen. In einer Organisation kann das Aktualisieren eines internen Labels harmlos sein; in einer anderen kann dieselbe Änderung einen Leistungsausschluss auslösen oder einen regulierten Datensatz verändern. Die Matrix sollte deshalb die Wirkung dokumentieren, die eine Aktion im Zielsystem erzeugt, und nicht lediglich den Namen des Werkzeugs.

Bewerten Sie mindestens fünf Dimensionen. Die Auswirkung beschreibt das mögliche Schadensausmaß für Personen, Kunden, Betrieb, Finanzen oder Compliance. Die Reversibilität misst, ob sich die Wirkung vollständig, sicher und mit angemessenem Aufwand rückgängig machen lässt. Sensibilität umfasst die Daten, die abgefragt, offengelegt oder verändert werden. Der Umfang berücksichtigt Volumen, Empfänger, Systeme und Dauer. Schließlich ist empirische Zuverlässigkeit kein Eindruck vom Modell, sondern ein aus vergleichbaren Tests und dem Betrieb gewonnener Nachweis dafür, dass der Agent den Fall korrekt erkennt, gültige Parameter vorschlägt und relevante Bedingungen nicht auslässt.

Eine Bewertung kann helfen, Entscheidungen zu ordnen, sollte aber ohne Vetoregeln keine Schlussfolgerung automatisieren. Beispielsweise kann eine irreversible Transaktion oder ein Zugriff auf besonders sensible Daten eine Genehmigung erfordern, selbst wenn die Aktion nur einen einzelnen Fall betrifft und der Agent in Tests gute Ergebnisse erzielt hat. Umgekehrt kann eine Aktion mit geringer Auswirkung eine vorherige Prüfung erfordern, wenn sie in einem anomalen Kontext erscheint, der Agent ein neues Werkzeug nutzt oder Validierungssignale nicht verfügbar sind.

Das Ergebnis der Matrix sollte eine von vier Richtlinien sein: automatische Ausführung innerhalb von Grenzen; vorherige Genehmigung durch eine verantwortliche Person; doppelte Genehmigung durch unterschiedliche Rollen; oder Ausführungsverbot für den Agenten. Die letzte Kategorie bedeutet nicht zwingend, dass die Aufgabe für die Organisation untersagt ist, sondern dass sie ein menschliches Verfahren oder eine andere Integration erfordert.

Die Genehmigungsanfrage so gestalten, dass sie überprüfbar ist

Eine prüfende Person sollte weder die vollständige Argumentation des Agenten rekonstruieren noch sich für eine Entscheidung auf eine überzeugend formulierte Erklärung verlassen müssen. Die Anfrage muss Tatsachen und Aktionsgrenzen überprüfbar darstellen. Ihr Zweck ist, Fehler bei Empfänger, Umfang, Daten, Berechtigung oder erwarteter Folge erkennen zu können.

Nehmen Sie das operative Ziel, die genau auszuführende Aktion, das Werkzeug oder Zielsystem, die verbindlichen Parameter, die abzufragenden oder offenzulegenden Daten sowie eine Vorschau der Wirkung auf. Stellen Sie, soweit möglich, die sicherere oder weniger eingreifende Alternative dar, etwa eine Nachricht als Entwurf zu speichern statt sie zu versenden, den Stapel zu begrenzen oder eine Klärung anzufordern. Geben Sie außerdem an, was geschieht, wenn die Person ablehnt, Änderungen verlangt oder nicht antwortet.

Die Benutzeroberfläche muss klar zwischen der Genehmigung der Aktion in ihrer festgelegten Form, der Anforderung von Änderungen und der Ablehnung unterscheiden. Ein Freitextfeld kann für eine Ausnahme sinnvoll sein, darf aber nicht dazu führen, dass eine mehrdeutige Anweisung zu einer weitreichenden Autorisierung wird. Ändert die prüfende Person einen wesentlichen Parameter, muss der Agent einen neuen Vorschlag erstellen oder einen validierten deterministischen Ablauf ausführen; er darf die Änderung nicht frei interpretieren.

Eine gute Anfrage legt auch die Herkunft des Kontexts offen: welche internen Quellen oder Nutzereingaben den Vorschlag tragen, welche Prüfungen vorgenommen wurden und welche Unsicherheiten weiterhin bestehen. Diese Informationen anzuzeigen bedeutet nicht, der prüfenden Person unnötige Daten preiszugeben. Die Sichtbarkeit muss Datenminimierung und die Zugriffsbeschränkungen der jeweiligen Rolle beachten.

Verantwortliche, Vertretungen und Eskalationen zuordnen

Die prüfende Person muss echte Entscheidungsbefugnis über die Wirkung der Aktion besitzen. Eine für den Betrieb verantwortliche Person kann eine Bestandsaktualisierung innerhalb ihres Bereichs genehmigen, während der Zugriff auf personenbezogene Daten einen Datenverantwortlichen oder eine Sicherheitsrolle erfordern kann. Prüfer allein nach Verfügbarkeit zuzuweisen, führt häufig zu mechanischen Genehmigungen oder Ablehnungen aus Kontextmangel.

Dokumentieren Sie für jede Aktionsklasse einen Richtlinienverantwortlichen, die zur Genehmigung berechtigten Rollen und die Bedingungen, unter denen Funktionstrennung verlangt wird. Die doppelte Genehmigung ist sinnvoll, wenn eine einzelne Person eine Entscheidung nicht vollständig kontrollieren sollte: Eine Rolle kennt beispielsweise die operative Notwendigkeit, während eine andere das Compliance-Risiko prüft. Sie sollte nicht als automatische Antwort auf jede Unsicherheit dienen, denn doppelte Prüfungen ohne unterschiedliche Ziele können Verzögerungen erhöhen, ohne die Erkennung zu verbessern.

Definieren Sie Vertretungen mit derselben Befugnisstufe, vermeiden Sie jedoch, eine Anfrage automatisch an viele Personen weiterzuleiten. Eine Warteschlange mit Verantwortlichen, Frist und ausdrücklicher Eskalation ist besser auditierbar. Die Anfrage muss ablaufen, wenn sich die sie tragenden Bedingungen ändern, etwa die Gültigkeit einer Angabe, der Status eines Falls oder der Inhalt einer Integration.

Rahmenwerke für KI-Risikomanagement empfehlen, Rollen, Verantwortlichkeiten und Befugnisse zuzuweisen, Risiken zu dokumentieren und die Überwachung nach der Einführung aufrechtzuerhalten. In einem System mit Agenten muss diese Zuordnung sowohl die Entscheidung zur Zulassung einer Aktion als auch die Fähigkeit zur Intervention bei einem Vorfall umfassen.

Schweigen, Ablehnungen und Meinungsverschiedenheiten behandeln, ohne Umgehungswege zu öffnen

Schweigen ist keine Genehmigung. Die Standardregel sollte lauten, bei Ablauf einer Frist nicht auszuführen, wenn eine Aktion auf Autorisierung wartet – es sei denn, eine dokumentierte Richtlinie definiert eine sichere Alternativaktion. Ein Agent kann beispielsweise einen Entwurf speichern, eine Aufgabe anlegen oder zusätzliche Daten anfordern; er darf das Ausbleiben einer Antwort jedoch nicht in eine Erlaubnis zum Senden, Ändern oder Offenlegen umdeuten.

Eine Ablehnung braucht eine definierte Semantik. Sie kann den Fall schließen, ihn mit ausdrücklichen und einzuhaltenden Parametern an den Agenten zurückgeben oder zur manuellen Ausführung an eine Person weiterleiten. Wichtig ist, den Agenten daran zu hindern, dieselbe Aktion mit einer oberflächlich abweichenden Formulierung erneut einzureichen, um eine neue Genehmigung zu erhalten. Fassen Sie gleichwertige Wiederholungsversuche zusammen, erhalten Sie die Verknüpfung zur vorherigen Ablehnung und verlangen Sie einen identifizierbaren wesentlichen Unterschied.

Auch Meinungsverschiedenheiten zwischen Genehmigenden benötigen einen Ausgang: Vorrang einer Risikorolle, Weiterleitung an eine fallverantwortliche Person oder Sperrung bis zu einer Entscheidung durch eine Person mit höherer Befugnis. Das System muss Entscheidungen und ihre operativen Begründungen aufbewahren, ohne einer vom Agenten generierten Erklärung Gewissheit zuzuschreiben.

Prüfen Sie nach der Genehmigung, ob das ausgeführte Artefakt dem genehmigten entspricht. Vergleichen Sie Aktionskennung, Planversion, Parameter, Empfänger, Werkzeuge und Ergebnis. Ändert sich eines dieser Elemente, fordern Sie eine neue Genehmigung an oder wenden Sie einen zuvor autorisierten und eng begrenzten Änderungspfad an.

Muster nach Aktionstyp und Ausführungsgrenzen

Bei externer Kommunikation sollten Sie die Erstellung eines Entwurfs vom Versand trennen. Es kann angemessen sein, Klassifizierung und Vorbereitung zu automatisieren, wenn der Inhalt intern bleibt; der Versand erfordert eine höhere Schwelle, wenn er Kunden betrifft, eine vertragliche Position festlegt oder sensible Daten enthält. Änderungen an Empfänger, Sprache, Anhängen oder Verteilerlisten sind als wesentliche Änderungen zu behandeln.

Bei Änderungen an Code oder Konfiguration ersetzt eine menschliche Inhaltsprüfung nicht die Kontrollen des Bereitstellungszyklus. Die Genehmigung muss an eine identifizierbare Version, verfügbare Tests, die Zielumgebung und einen Rücksetzplan gebunden sein. Ein Agent sollte eine Bereitstellung nicht von einer Testumgebung auf die Produktion ausweiten dürfen, wenn die Genehmigung für eine begrenzte Validierung erteilt wurde.

Bei Datensatzaktualisierungen legen Sie fest, welche Felder der Agent ändern darf, welche Quellen zulässig sind und wann er die Differenz zwischen aktuellem und vorgeschlagenem Wert zeigen muss. Massenaktualisierungen benötigen eine spezifische Kontrolle des Umfangs, der Auswahlkriterien und des Mechanismus zum Rückgängigmachen. Beim Datenzugriff gelten das Prinzip minimaler Rechte, die Autorisierung im Zielsystem und die Ausführung im autorisierten Kontext; eine Genehmigung auf Ebene des Agenten darf keinen Zugriff gewähren, den das Quellsystem verweigert.

Transaktionen mit finanzieller, rechtlicher oder physischer Auswirkung erfordern üblicherweise eine restriktive Richtlinie. Die Einordnung hängt vom Kontext und den bestehenden Kontrollen ab, doch Irreversibilität, mögliche Auswirkungen auf Dritte und schwierige Wiedergutmachung sind starke Signale für eine doppelte Genehmigung oder dafür, den Agenten von der Ausführung auszuschließen. Sicherheitsempfehlungen zu übermäßiger Agentenautonomie heben minimale Rechte, die Autorisierung im Zielsystem, die Aufsicht über folgenschwere Aktionen und die Protokollierung von Aktivitäten hervor.

Messen, ob die Kontrolle tatsächliche Fehler erkennt, und Autonomie anhand von Nachweisen anpassen

Das Vorhandensein von Genehmigungen beweist nicht, dass die Kontrolle funktioniert. Messen Sie, wie viele Vorschläge wegen wesentlicher Fehler abgelehnt oder geändert werden, welche Fehlerarten erkannt werden, wie viele genehmigte Aktionen rückgängig gemacht werden müssen und wie lange die Warteschlange benötigt. Segmentieren Sie diese Metriken nach Aktionsklasse, Integration, Workflow-Version und Verantwortlichem, da ein Gesamtdurchschnitt ein konzentriertes Problem verdecken kann.

Die Genehmigungsquote allein ist mehrdeutig. Eine sehr hohe Quote kann korrekte Vorschläge mit geringem Risiko widerspiegeln, aber ebenso Ermüdung, fehlenden Kontext oder Druck, die Warteschlange abzubauen. Untersuchen Sie kombinierte Signale: ungewöhnlich schnelle Genehmigungen, wiederholte Kommentare, bei nachträglichen Prüfungen gefundene Abweichungen, Rücknahmerate und Unterschiede zwischen Prüfenden. Qualitätsstichproben und die Überprüfung negativer Fälle helfen, Effizienz von unangemessener Automatisierung zu unterscheiden.

Die Zuverlässigkeit des Agenten muss anhand beobachteter Ergebnisse aktualisiert werden, nicht aufgrund einer allgemeinen Leistungsbehauptung. Um eine Aktionsklasse von vorheriger Genehmigung auf nachträgliche Aufsicht umzustellen, legen Sie im Voraus fest, welche Nachweise erforderlich sind: eine vergleichbare Fallpopulation, wesentliche Fehler unterhalb der internen Schwelle, nachgewiesene Rückgängigmachung, nachträgliche Erkennung innerhalb der akzeptablen Zeit sowie keine relevanten Änderungen an Modell, Werkzeugen oder Daten. Ändern sich diese Elemente, bewerten Sie die Richtlinie neu.

Protokollieren Sie eine Spur, die die Rekonstruktion des Falls ermöglicht: ursprüngliche Anfrage, zulässiger Kontext, Plan, vorgeschlagene Aktion, Version des Agenten und der Werkzeuge, Genehmigende, Entscheidung, Zeitpunkt, ausgeführte Parameter, Antwort des Zielsystems und nachträgliches Ergebnis. Das Protokoll muss geschützt und nur für autorisierte Rollen zugänglich sein; mehr Kontext als nötig zu sammeln, kann ein zusätzliches Datenschutz- oder Sicherheitsrisiko schaffen.

Einführungsplan und überprüfbare Checkliste für den Start

Beginnen Sie mit einem eng abgegrenzten Workflow, einer einzigen Aktionsklasse und einem Zielsystem, in dem sich das Ergebnis beobachten und rückgängig machen lässt. Inventarisieren Sie die Aktionen im Ablauf, nicht nur seine Werkzeuge: Abfragen, Entwerfen, Aktualisieren, Senden, Löschen, Eskalieren und Ausführen können unterschiedliche Kontrollen erfordern. Beschreiben Sie für jede Aktion die Wirkung, technischen Berechtigungen, Parametergrenzen und die verantwortliche Rolle für die Richtlinie.

Testen Sie vor der Bereitstellung normale Fälle, mehrdeutige Eingaben, böswillige Anfragen, Werkzeuge mit Fehlerrückgaben und Parameteränderungen nach einer Genehmigung. Prüfen Sie insbesondere, dass der Agent keine andere als die genehmigte Aktion ausführen kann, dass eine abgelaufene Anfrage nicht ausgeführt wird und dass der Notstopp auf ausstehende sowie neue Ausführungen wirkt.

Führen Sie eine kontrollierte Phase mit ausreichenden Nachweisen durch, um Muster zu erkennen, ohne zu behaupten, dass eine feste Anzahl von Fällen für alle Risiken gültig sei. Prüfen Sie wöchentlich Ablehnungen, Rücknahmen, Wartezeiten, unbeantwortete Anfragen und Vorfälle. Erweitern Sie die Autonomie nur für eine konkrete Aktionsklasse und nur dann, wenn die Ergebnisse und die Mechanismen zur Rückgängigmachung die Änderung rechtfertigen.

Die Genehmigungsrichtlinie ist ein lebendiges Dokument. Sie muss aktualisiert werden, wenn Werkzeuge hinzukommen, sich verfügbare Daten ändern, das Modell verändert wird, ein neues Zielsystem integriert wird oder Vorfälle auftreten. Die Governance muss die für jede Ausführung geltende Version der Richtlinie aufbewahren, damit sich historische Protokolle korrekt interpretieren lassen.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.