Ein Ausfall bedeutet nicht immer, dass die Aktion nicht stattgefunden hat
Ein KI-Agent kann unterbrochen werden, nachdem er eine Anfrage an ein Tool gesendet hat, aber bevor er dessen Antwort speichert. In dieser Zeit kann das externe System bereits ein Ticket angelegt, eine Nachricht versendet oder einen Datensatz geändert haben. Der Verlust der Antwort beweist nicht, dass die Wirkung ausgeblieben ist. Wiederholt der neu gestartete Agent die Aktion ungeprüft, kann er die Änderung duplizieren.
Deshalb sollten der Prozesszustand und der Zustand des externen Vorgangs getrennt betrachtet werden. Ein Infrastrukturfehler kann die Kommunikation unterbrechen; ein Logikfehler kann zu einer ungeeigneten Entscheidung führen; und ein Tool kann eine Eingabe ablehnen oder verspätet antworten. Diese Ursachen unterscheiden sich und rechtfertigen nicht automatisch dieselbe Wiederherstellung.
Der Gesprächsverlauf und Ausführungsprotokolle helfen dabei, den Ablauf zu rekonstruieren. Sie sind jedoch nicht unbedingt ein Beleg dafür, dass das Zielsystem eine Änderung übernommen hat oder nicht. Eine vom Zielsystem zurückgegebene Vorgangs-ID, eine zuverlässige Statusabfrage oder ein dauerhaft gespeicherter Beleg bilden eine bessere Grundlage für die Entscheidung, ob der Ablauf fortgesetzt werden kann.
Eine dauerhafte Ausführung speichert die Absicht, bestätigte Schritte und Ergebnisse außerhalb des Prozesses, damit sich der Ablauf fortsetzen lässt. Stirbt der Prozess, kann ein neuer Worker beim letzten bestätigten Checkpoint starten, statt das Modell erneut um einen Plan zu bitten. **Fortsetzen heißt, von einem bekannten Zustand aus weiterzuarbeiten; Wiederholen heißt, einen bestimmten Vorgang erneut auszuführen**.
Welcher Zustand gespeichert und wie er eingeordnet werden sollte
Speichere alles, was für die Wiederherstellung nötig ist, ohne auf das flüchtige Gedächtnis eines Workers angewiesen zu sein. Halte mindestens die Ausführungs-ID, die Workflow-Version, die Entscheidung, die den Aufruf ausgelöst hat, normalisierte Argumente, die stabile Identität des Vorgangs sowie das Ergebnis oder den Beleg des Anbieters fest. Gibt das externe System eine ID zurück, speichere auch diese.
Eine Modellentscheidung muss gespeichert werden, bevor das Tool ausgeführt wird. Anschließend muss jedes Ergebnis gesichert werden, bevor der nächste Schritt beginnt. So muss ein Neustart den Plan nicht neu erzeugen und kann einen ausstehenden Aufruf von einem bestätigten Vorgang unterscheiden. Ein Checkpoint speichert dauerhaften Zustand, garantiert aber nicht, dass eine externe API ihre Änderungen atomar angewendet hat.
Der Status `unknown` ist sinnvoll, wenn eine Antwort verloren ging oder der Prozess zwischen der externen Wirkung und dem lokalen Eintrag abgestürzt ist. Er bedeutet nicht `failed`, sondern zeigt an, dass noch geklärt werden muss, was passiert ist. Eine Abfrage beim Anbieter kann den Vorgang als bestätigt oder fehlgeschlagen einstufen. Gibt es keine zuverlässige Abfrage und wäre eine Wiederholung riskant, bleibt der Fall zur Abstimmung offen.
Auch die Kompatibilität ist wichtig. Ein älterer Checkpoint kann unbrauchbar werden, wenn sich Tool-Definitionen oder Workflow-Regeln ändern. Ordne jede Ausführung einer kompatiblen Version zu und lehne verspätete Schreibvorgänge durch Nebenläufigkeitskontrollen ab. Bei konkurrierenden Workern können eine Lease und ein Fencing-Mechanismus helfen, zu verhindern, dass zwei Prozesse denselben Zustand fortschreiben. Dafür müssen sie jedoch vom Speicher korrekt unterstützt werden.
Nützliche Zustände für die Wiederherstellung
| Beobachteter Zustand | Was sich daraus schließen lässt | Nächster Schritt |
|---|---|---|
| Das Tool wurde noch nicht aufgerufen | Es gibt keinen Hinweis darauf, dass die Wirkung angefordert wurde | Den Vorgang mit der bereits gespeicherten Identität senden |
| Die Anfrage wurde gesendet, aber es kam keine Antwort | Die Wirkung könnte eingetreten sein | Das Zielsystem abfragen oder nach einem Beleg suchen |
| Die externe Wirkung trat ein, aber der lokale Checkpoint fehlt | Das Journal ist nicht auf dem aktuellen Stand | Mit demselben Schlüssel abgleichen und das wiederhergestellte Ergebnis speichern |
| Der Beleg ist gespeichert | Der Schritt ist im Journal bestätigt | Das gespeicherte Ergebnis wiederverwenden und fortfahren |
| Keine zuverlässige Abfrage möglich und eine Wiederholung könnte Schaden verursachen | Das Ergebnis ist weiterhin ungeklärt | Als unbekannt markieren und zur Prüfung pausieren |
Begrenzte Wiederholungen mit klaren Bedingungen
Eine Wiederholung ist vertretbar, wenn der Fehler vorübergehend zu sein scheint und der Vorgang sicher erneut ausgeführt werden kann. Bei einem ausgelasteten Dienst oder einer Unterbrechung vor dem Senden der Anfrage kann ein weiterer Versuch sinnvoll sein. Eine abgelehnte Berechtigung, ungültige Argumente oder ein Schlüsselkonflikt erfordern dagegen in der Regel eine Korrektur der Ursache statt weiterer Versuche. Ordne den Fehler ein, bevor du eine Wiederholungsrichtlinie anwendest.
Exponentielles Backoff verlängert die Wartezeit zwischen aufeinanderfolgenden Versuchen. Jitter kann verhindern, dass viele Worker denselben Dienst gleichzeitig erneut aufrufen. Diese Technik steuert den Zeitpunkt eines weiteren Versuchs; sie garantiert weder die Verfügbarkeit des Dienstes noch die Richtigkeit der Aktion. Lege eine maximale Zahl von Versuchen und eine Gesamtzeitgrenze fest und protokolliere den Grund jeder Wartezeit.
Ein stabiler Idempotenzschlüssel verknüpft Wiederholungen derselben Absicht, sofern der Anbieter diesen Schlüssel erkennt und den entsprechenden Vertrag einhält. Der Schlüssel muss für alle Versuche desselben Vorgangs gleich bleiben. Wird nach einem Timeout ein neuer Schlüssel erzeugt, kann die Wiederholung zu einem zweiten Vorgang werden. Ändern sich die Argumente, darf ein Schlüssel, der mit einem anderen Inhalt verknüpft ist, nicht stillschweigend wiederverwendet werden.
Wenn der Anbieter keine Idempotenz unterstützt, suche nach einer Statusabfrage oder einer Geschäftsreferenz, mit der sich das Ergebnis abgleichen lässt. Ist keine Option zuverlässig, kann das Anhalten sicherer sein als eine Wiederholung. Ein erneuter Leseaufruf und ein erneuter Aufruf, der Geld überweist, eine E-Mail sendet oder Berechtigungen ändert, bergen unterschiedliche Risiken.
Vor einer Wiederholung entscheiden
| Situation | Vorsichtige Entscheidung | Bedingung |
|---|---|---|
| Vorübergehender Fehler vor dem Senden | Mit begrenzter Wartezeit wiederholen | Der Vorgang wurde noch nicht angefordert |
| Timeout nach dem Senden einer Schreibaktion | Vor einer Wiederholung abgleichen | Über Schlüssel oder Status des Zielsystems prüfen |
| Ungültige Eingabe oder abgelehnte Berechtigung | Anhalten und die Ursache beheben | Nicht einfach die Zahl der Versuche erhöhen |
| Gleiche Absicht und idempotenter Anbieter | Mit demselben Schlüssel wiederholen | Zeitliche Gültigkeit und Semantik des Anbieters prüfen |
| Unbekanntes Ergebnis und risikoreiche Wirkung | Pausieren und eskalieren | Es gibt keine zuverlässige Prüfmöglichkeit |
Externe Wirkungen: Idempotenz ist kein Rollback
Idempotenz und Rollback lösen unterschiedliche Probleme. Idempotenz soll verhindern, dass mehrere Versuche desselben Vorgangs doppelte Geschäftswirkungen erzeugen, sofern Executor und Anbieter diesen Vertrag einhalten. Ein Rollback soll eine bereits eingetretene Wirkung rückgängig machen. Eine idempotente Wiederholung macht eine Änderung nicht rückgängig.
Außerdem lassen sich nicht alle Aktionen rückgängig machen. Eine Reservierung kann freigegeben werden; für eine Zahlung ist möglicherweise eine separate Rückerstattung nötig; eine versendete E-Mail lässt sich nicht aus dem Postfach des Empfängers zurückholen. Häufig bleibt nur eine ausdrücklich definierte Ausgleichsaktion. Sie ist ein neuer Vorgang, der fehlschlagen oder eine Genehmigung erfordern kann.
Bevor du eine Schreibaktion automatisierst, bestimme ihre Wirkung, wie sie überprüft werden kann und ob es eine Ausgleichsaktion gibt. Lässt sich eine Aktion nicht zuverlässig rückgängig machen, begrenze ihren Umfang, verlange gegebenenfalls eine Genehmigung oder halte den Ablauf bei Unklarheit an. Eine umfassende Datenwiederherstellung ist kein selektives Rollback: Das Einspielen einer Sicherung kann gültige spätere Änderungen überschreiben.
Ein lokaler Testaufbau kann einen Absturz zwischen der Ausführung einer Wirkung und dem Speichern des Belegs simulieren. Damit lässt sich prüfen, ob die Laufzeitumgebung den Plan fortsetzt und vor einer möglichen Duplizierung das externe Register abfragt. Das allein beweist nicht, dass ein realer Anbieter Idempotenz bietet, eine verteilte Transaktion atomar ist oder zwei parallele Worker koordiniert werden.
Einen Fall mit hilfreichem Kontext an Menschen übergeben
Eine menschliche Eskalation sollte nicht nur eine unkommentierte Fehlermeldung weiterleiten. Die zuständige Person muss wissen, was versucht wurde, welches Ergebnis bestätigt ist, was noch unbekannt ist und welches Risiko eine Fortsetzung birgt. Übergib den wiederherstellbaren Zustand und die offene Entscheidung, nicht nur den Text der Nutzeranfrage.
Ein praktisches Übergabepaket kann die Ausführungs-ID, den unterbrochenen Schritt, das Tool und seine Version, die bisherigen Versuche, die Fehlerklassifikation, den Vorgangsschlüssel, verfügbare Belege und durchgeführte Abfragen zum Abgleich enthalten. Ergänze gültige Genehmigungen sowie Sicherheits- oder Budgetbedingungen, die eine Fortsetzung verhindern könnten.
Sensible Argumente müssen geschwärzt und der Zugriff auf Protokolle nach den geltenden Regeln beschränkt werden. Der Agent sollte die Unsicherheit konkret ausdrücken, etwa: „Die Anfrage wurde gesendet, aber das Ergebnis ist nicht bestätigt.“ Er darf nicht behaupten, die Änderung sei eingetreten oder ausgeblieben, solange der Status ungeklärt ist.
Die prüfende Person braucht eine klare Handlungsmöglichkeit: das Zielsystem abfragen, eine Ausgleichsaktion genehmigen, die Eingabe korrigieren oder den Fall schließen. Entscheidet sie sich für eine Wiederholung, sollte festgehalten werden, wer die Entscheidung getroffen hat, auf welchen Belegen sie beruht und welcher Schlüssel verwendet wurde. So bleibt der Ablauf nachvollziehbar, ohne dem Modell die Befugnis zu geben, einen risikoreichen Vorgang selbst zu entscheiden.
Einen unklaren Vorgang übergeben
Nutze denselben Kontext, damit das Team den Fall untersuchen und entscheiden kann, ohne den Ablauf von Grund auf rekonstruieren zu müssen.
- 01Ausführung, Schritt und Workflow-Version identifizieren.
- 02Zusammenfassen, was gesendet wurde, wie viele Versuche erfolgten und was das Tool zurückmeldete.
- 03Bestätigte Ergebnisse von unbekannten Zuständen trennen.
- 04Angeben, welche Abfrage oder Genehmigung fehlt und welche Wirkung eine Wiederholung haben könnte.
- 05Die menschliche Entscheidung protokollieren und den Ablauf erst fortsetzen, wenn der Status geklärt ist.
Beobachtbarkeit und Wiederherstellungstests
Die Beobachtbarkeit muss es ermöglichen, eine Ausführung zu rekonstruieren und Fehler des Modells, des Tools und der Infrastruktur voneinander zu unterscheiden. Protokolliere Zustandsübergänge, Beginn und Ergebnis jedes Aufrufs, Latenz, klassifizierte Fehler, Wiederholungen, Checkpoints und Eskalationen. Verknüpfe diese Ereignisse mit einer Ausführungs-ID und der Workflow-Version, ohne sensible Daten wahllos zu speichern.
Es gibt keine einzelne universelle Kennzahl, die die Resilienz aller Agenten zusammenfasst. Ein Team kann beobachten, wie viele Ausführungen wiederhergestellt werden, wie lange die Klärung unbekannter Zustände dauert, wie viele Fälle menschliches Eingreifen erfordern und wie viele doppelte Wirkungen entdeckt werden. Definiere jede Kennzahl mit Nenner und Zeitfenster; ohne diese Angaben kann eine Wiederherstellungsrate schwer zu interpretieren sein.
Teste Fehlerpfade und nicht nur die finale Modellausgabe. Simuliere einen Absturz vor dem Senden, eine verlorene Antwort nach Annahme der Anfrage, einen vorübergehenden Fehler, die Wiederverwendung eines Schlüssels mit anderen Argumenten und zwei Worker, die um dieselbe Ausführung konkurrieren. Prüfe, dass bestätigte Schritte nicht wiederholt werden und unbekannte Zustände nicht als bestätigter Erfolg oder Misserfolg erscheinen.
Tests mit lokalen Dateien oder simulierten Anbietern prüfen Codeentscheidungen unter den simulierten Bedingungen. Sie bestätigen nicht automatisch die Semantik eines Anbieters in der Produktion, die Dauerhaftigkeit der Datenbank oder die Wirksamkeit einer verteilten Koordination. Prüfe die relevanten Zusagen in der Dokumentation des Dienstes und teste die konkrete Konfiguration, die der Agent verwenden wird.
Was bei jeder Ausführung beobachtet werden sollte
| Signal | Welche Frage es beantwortet |
|---|---|
| Zustandsübergänge | Bei welchem Schritt wurde die Ausführung unterbrochen und welcher Checkpoint war zuletzt bestätigt? |
| Fehler und Tool | Handelte es sich um eine Ablehnung, einen Ausfall, einen Timeout oder einen Logikfehler? |
| Versuche und Wartezeiten | Wie oft wurde der Vorgang wiederholt und welche Grenze galt? |
| Beleg oder externe ID | Lässt sich die Wirkung im Zielsystem prüfen? |
| Unbekannter Zustand und Eskalation | Wie lange dauerte der Abgleich und wer klärte den Fall? |
| Workflow-Version | Ist der Checkpoint mit dem Code kompatibel, der ihn wiederherstellt? |
Ein praktikables Wiederherstellungsprotokoll
Ein klares Protokoll strukturiert die Wiederherstellung: Lade den letzten bestätigten Checkpoint, prüfe die Versionskompatibilität, identifiziere den unterbrochenen Vorgang und ordne das Ergebnis ein. Wurde noch nichts gesendet, kann der Vorgang mit der gespeicherten Identität ausgeführt werden. Wurde die Anfrage gesendet, aber keine Antwort empfangen, frage vor der Entscheidung das Zielsystem oder den Beleg ab. Ist der Vorgang bestätigt, speichere das Ergebnis und fahre mit dem nächsten Schritt fort.
Die Richtlinie muss festlegen, wann Wiederholungen zulässig sind, welche Grenzen gelten und bei welchen Fehlern der Ablauf angehalten werden muss. Sie sollte außerdem bestimmen, wer einen unbekannten Zustand klären darf und wann eine zusätzliche Genehmigung nötig ist. Eine ausdrücklich festgelegte Abbruchregel schützt vor Schleifen und verhindert, dass ein Modell aus einer fehlenden Antwort die Erlaubnis zur Wiederholung ableitet.
Teste das Protokoll mit einem kontrollierten Testaufbau, bevor du es mit realen Aktionen verbindest. Prüfe anschließend getrennt das Verhalten des Anbieters, Nebenläufigkeitsbedingungen, die Aufbewahrung von Checkpoints und Eskalationsverfahren. Eine dauerhafte Workflow-Architektur kann Teile des Journals und der Wiederaufnahme übernehmen, macht aber eine externe API nicht automatisch atomar oder genau-einmalig ausführbar.
Zuverlässige Wiederherstellung bedeutet nicht, dass sich jeder Fehler automatisch beheben lässt. Sie bedeutet, dass das System bestätigt Gespeichertes erhält, Unbekanntes ehrlich darstellt und den nächsten Schritt auf das beschränkt, was sich begründen lässt. Gibt es keine zuverlässige Möglichkeit, die Wirkung festzustellen, und könnte eine Wiederholung Schaden verursachen, gehören Pause und Abgleich zum korrekten Betrieb.
Weiter entdecken
Verwendete Quellen
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen