Qualitätsregressionen bei KI-Agenten im Produktivbetrieb erkennen
Bild erstellt vom Redaktionsteam von Inferama
01

Verfügbarkeit ist nicht gleich Qualität

Ein Agent kann jede Anfrage beantworten, eine akzeptable Latenz aufweisen und keine Infrastrukturfehler protokollieren – und trotzdem die Aufgabe falsch lösen. Er kann eine Bedingung übersehen, eine veraltete Quelle heranziehen, ein ungeeignetes Werkzeug aufrufen oder ein Ergebnis als sicher darstellen, obwohl es überprüft werden muss. Ein Dashboard, das nur Verfügbarkeit, Fehler, Antwortzeit und Verbrauch erfasst, erkennt solche Probleme nicht unbedingt.

Drei Fragen sollten getrennt betrachtet werden: Ist der Dienst weiterhin betriebsbereit? Welche Schritte hat der Agent ausgeführt? Hat das Ergebnis den Zweck und die Regeln des Prozesses erfüllt? Technische Metriken helfen bei der ersten Frage, Traces rekonstruieren die zweite, und Aufgabenbewertungen prüfen die dritte. Keine dieser Ebenen ersetzt die anderen: Eine richtige Antwort beweist nicht, dass der Weg dorthin autorisiert war, und ein vollständiger Trace beweist nicht, dass das Ergebnis nützlich war.

Die Qualitätsbewertung sollte vom konkreten Einsatzzweck und den Folgen eines Fehlers ausgehen. Bei einer Rechercheaufgabe kann entscheidend sein, ob die Antwort durch einen aktuellen Datensatz gestützt wird. Bei einer Transaktion können eine Parameterprüfung und eine Genehmigung Pflicht sein. Ein aggregierter Kennwert kann schwerwiegende Fehler in einer Aufgabenkategorie, einer Sprache, einer Nutzergruppe oder einer Phase des Ablaufs verdecken.

Eine kontinuierliche Evaluation kann Veränderungen im Verhalten eines Agenten nach seiner Bereitstellung sichtbar machen. Sie garantiert nicht, dass jeder Fehler erkannt wird, und macht nicht automatisch jede Abweichung in einer Bewertung zu einer tatsächlichen Regression. Die Interpretation hängt von den Testfällen, dem Evaluator, der verglichenen Konfiguration und der Messunsicherheit ab.

Drei Kontrollebenen

EbeneBeantwortete FrageBeispiele für Signale
Technischer ZustandIst der Dienst betriebsbereit?Verfügbarkeit, Fehler, Latenz, Wiederholungsversuche und Verbrauch.
VerhaltenWas hat der Agent getan, um die Aufgabe zu erledigen?Abgerufene Quellen, aufgerufene Werkzeuge, Parameter und Eskalationen.
Funktionale QualitätWar das Ergebnis korrekt und für den Prozess akzeptabel?Aufgabe abgeschlossen, Regeln eingehalten, relevante Quellen verwendet und Handlung autorisiert.
02

Definieren, wann eine Aufgabe als erfolgreich gelöst gilt

Eine Qualitätsmetrik ist nur dann sinnvoll, wenn sie eine Bedingung abbildet, die für den vorgesehenen Einsatz relevant ist. „Gute Antwort“ ist zu vage, um eine Warnung auszulösen. Legen Sie fest, was der Agent liefern muss, welche Handlungen er nicht ausführen darf, wann er sich enthalten soll und welche Nachweise das Ergebnis überprüfbar machen. Diese Kriterien sollten vor der Betrachtung der Ergebnisse feststehen, damit die Regeln nicht nachträglich an das beobachtete Verhalten angepasst werden.

Kombinieren Sie deterministische Prüfungen mit interpretativen Bewertungen, wo es nötig ist. Ein herkömmlicher Validator kann prüfen, ob ein Pflichtfeld vorhanden ist, eine Kennung zu einer zugelassenen Menge gehört oder eine Ausgabe einem Schema entspricht. Ob eine Erklärung ein mehrdeutiges Dokument zutreffend wiedergibt, kann er allein nicht entscheiden. Für Bedeutungsfragen können menschliche Prüfungen oder modellbasierte Evaluatoren mit Bewertungsrubriken geeignet sein; auch ihre Entscheidungen müssen jedoch mit menschlichen Referenzbewertungen abgeglichen werden.

Der Gesamterfolg einer Aufgabe reicht nicht immer aus. Erfassen Sie kritische Fehler, unvollständige Fälle, angemessene Enthaltungen, menschliche Eingriffe und Handlungen außerhalb der gewährten Berechtigungen getrennt. Eine durchschnittliche Erfolgsquote kann steigen, während eine Kontrolle schlechter wird, deren Versagen nicht durch gute Ergebnisse bei einfachen Aufgaben ausgeglichen werden darf.

Die folgenden Beispiele veranschaulichen, wie sich Ziele verschiedener Agenten in überprüfbare Kriterien übersetzen lassen. Sie sind keine universellen Schwellenwerte: Jedes Team muss sie an seine Daten, Regeln, Werkzeuge und Risiken anpassen.

Beispiele für aufgabenspezifische Kriterien

AgententypÜberprüfbare KriterienErfordert Interpretation oder zusätzliche Prüfung
ProgrammierassistentBesteht der Code die festgelegten Tests? Werden Einschränkungen für Dateien oder Abhängigkeiten eingehalten? Akzeptieren Compiler oder Analysewerkzeug die Ausgabe?Ob die Lösung zum Entwurf passt, wartbar und sicher ist; bestandene Tests schließen nicht alle Fehler aus.
DokumentenrechercheVerweisen Aussagen auf abgerufene Dokumente? Sind Version und Datum relevant? Enthält sich der Agent, wenn eine Grundlage fehlt?Ob ein Zitat die Aussage tatsächlich stützt oder eine wichtige Einschränkung in der Zusammenfassung fehlt.
KundenserviceErkennt der Agent das Anliegen und wendet die aktuelle Richtlinie an? Vermeidet er eine unzulässige Offenlegung? Eskaliert er Fälle, die eine Person prüfen muss?Ob die Antwort das Anliegen angemessen löst, den richtigen Ton trifft oder eine Ausnahme korrekt interpretiert.
Agent mit WerkzeugenWählt der Agent ein zugelassenes Werkzeug? Übergibt er gültige Argumente? Holt er vor einer sensiblen Handlung die erforderliche Genehmigung ein?Ob der Ablauf angemessen war und ob die Handlung im vollständigen Kontext gerechtfertigt war.
03

Interaktionen bewerten, ohne den Dienst zu unterbrechen

Bei einer Shadow-Evaluation wird eine Interaktion aus dem Produktivbetrieb analysiert, ohne die Antwort für den Nutzer zu verändern oder eine zweite Aktion im Geschäftssystem auszulösen. Beispielsweise kann ein bereits protokollierter Trace oder eine bereinigte Kopie des Gesprächs nach Abschluss der Aufgabe bewertet werden. Die Evaluation darf externe Aktionen nicht erneut ausführen: Ein zweiter Aufruf eines Schreibwerkzeugs kann einen Vorgang duplizieren oder unerwünschte Folgen haben.

Stichproben können den Umfang der Prüfung verringern, aber es gibt keinen universell passenden Stichprobenanteil. Er hängt davon ab, wie häufig die Fälle auftreten, wie stark die Ergebnisse variieren, wie sensibel der Prozess ist und welche Veränderung erkannt werden soll. Eine Zufallsstichprobe kann den untersuchten Datenverkehr repräsentieren; eine gezielt auf Vorfälle ausgerichtete Stichprobe kann seltene Fehler aufdecken, schätzt für sich genommen aber nicht deren Häufigkeit in der Gesamtpopulation. Werden diese Zwecke getrennt, lässt sich eine Suche nach schwierigen Fällen nicht fälschlich als repräsentative Messung deuten.

Bevor Sie reale Interaktionen bewerten, beschränken Sie die Datenerfassung auf das Notwendige. Traces können Nachrichten, Dokumente, Werkzeugargumente und personenbezogene Daten enthalten. Legen Sie Datenminimierung, Filterung, Zugriffskontrollen und angemessene Aufbewahrungsfristen von Anfang an fest. Wenn eine Evaluation Inhalte an ein weiteres Modell zur Bewertung übermittelt, prüfen Sie auch, welche Daten die Anwendung verlassen, wo sie verarbeitet werden und welche Bedingungen für den konfigurierten Dienst gelten.

Microsoft Foundry dokumentiert Evaluationsläufe mit Testsätzen und beschreibt außerdem die kontinuierliche Überwachung im Produktivbetrieb. Die Dokumentation veranschaulicht Funktionen dieser Plattform, **legt aber weder eine universelle Stichprobengröße fest noch belegt sie, dass jedes Shadow-Evaluationsdesign zufällig, datenschutzneutral oder zur Erkennung einer bestimmten Regression ausreichend ist**.

Ablauf einer Shadow-Evaluation

  1. 01Legen Sie fest, welche Interaktionsklassen Sie mit welchem Ziel beobachten wollen: die typische Leistung schätzen, einen Fehler untersuchen oder eine kritische Kontrolle überwachen.
  2. 02Wählen Sie die Stichprobe nach einem dokumentierten Verfahren aus; halten Sie repräsentative Stichproben und gezielt ausgewählte seltene oder risikoreiche Fälle getrennt.
  3. 03Entfernen oder verändern Sie nicht erforderliche Felder und beschränken Sie den Zugriff auf Originaldaten und Ergebnisse.
  4. 04Bewerten Sie das Ergebnis und, sofern relevant, den aufgezeichneten Ablauf. Wiederholen Sie keine externen Aktionen des Agenten im Produktivbetrieb.
  5. 05Protokollieren Sie die Version des Agenten, seine Anweisungen, das Modell, die Werkzeuge, den Evaluator, die Kriterien und das Datum, damit spätere Vergleiche interpretierbar bleiben.
04

Evaluatoren validieren, bevor Sie ihren Bewertungen vertrauen

Ein modellbasierter Evaluator kann Antworten anhand einer Rubrik klassifizieren und mehr Fälle verarbeiten als eine umfassende manuelle Prüfung. Er kann jedoch auch eine Ausnahme übersehen, längere Antworten bevorzugen oder je nach Sprache und Formulierung anders bewerten. Seine Bewertung ist ein Signal, das kalibriert werden muss, keine Referenzwahrheit.

Bereiten Sie Beispiele vor, deren Bewertung von Personen mit Kenntnis des Prozesses geprüft wurde. Nehmen Sie korrekte, unvollständige, falsche und grenzwertige Fälle auf. Vergleichen Sie die automatische Entscheidung mit der Referenz und untersuchen Sie fälschlich akzeptierte sowie fälschlich abgelehnte Fälle getrennt. Beeinflussen Fehler des Evaluators eine wichtige Kontrolle, passen Sie die Rubrik an, ändern Sie das Verfahren oder verlangen Sie vor einer betrieblichen Entscheidung eine menschliche Prüfung.

Deterministische Regeln sind vorzuziehen, wenn sich eine Eigenschaft exakt prüfen lässt: das Vorhandensein eines Feldes, ein strukturiertes Format, die Existenz einer Kennung, ein numerischer Grenzwert oder der Aufruf eines verbotenen Werkzeugs. Eine syntaktisch gültige Ausgabe kann dennoch falsche Informationen enthalten. Eine hohe Bewertung durch ein Richtermodell beweist auch nicht, dass der Agent zugelassene Quellen verwendet hat oder in jedem Fall richtig liegt.

Versionieren Sie Kriterien und Evaluator. Eine Änderung an der Bewertungsrubrik, am Richtermodell oder an seiner Konfiguration kann die Punktzahl verändern, obwohl der Agent unverändert ist. Damit ein Vergleich aussagekräftig ist, muss die vollständige Konfiguration erfasst werden; wenn möglich, sollten die verglichenen Versionen mit denselben Testfällen und Bedingungen bewertet werden.

Die passende Evaluationsmethode wählen

Zu prüfende EigenschaftGeeignete erste MethodeZu berücksichtigende Grenze
Format, Felder und WertebereicheDeterministischer ValidatorPrüft Struktur oder Grenzwerte, nicht unbedingt die Bedeutung.
Berechtigungen und WerkzeugaufrufeSystemregeln, Protokolle und kontrollierte TestsProtokolle ermöglichen die Rekonstruktion von Aufrufen; Berechtigungen müssen im zuständigen System durchgesetzt werden.
Relevanz einer Zusammenfassung oder ErklärungMenschliche Rubrik oder kalibrierter modellbasierter EvaluatorDas Ergebnis hängt von der Qualität der Rubrik und der Leistung des Evaluators ab.
Korrektheit in einem Fall mit hohem SchadenspotenzialFachkundige Referenz und menschliche PrüfungEine automatische Evaluation kann unterstützen, ersetzt aber keine fachliche Freigabe.
05

Warnmeldungen und verhältnismäßige Reaktionen festlegen

Eine brauchbare Warnmeldung setzt eine geeignete Baseline für die jeweilige Aufgabe und ein vor dem Vorfall festgelegtes Handlungskriterium voraus. Vergleichen Sie Zeiträume und Versionen nur, wenn die Bedingungen ausreichend vergleichbar sind; Änderungen an Traffic, Daten, Werkzeugen oder Konfiguration können einen Unterschied erklären. Bei geringem Volumen oder hoher üblicher Streuung reicht eine beobachtete Abweichung möglicherweise nicht aus, um eine Regression festzustellen.

Verwenden Sie keinen einzelnen aggregierten Wert als Freigabeschranke. Trennen Sie nicht verhandelbare Kontrollen – etwa unbefugten Zugriff, einen nicht autorisierten Schreibvorgang oder den Wegfall einer vorgeschriebenen Prüfung – von graduellen Zielen wie Latenz oder stilistischer Qualität. Eine Verbesserung in einem Bereich sollte die Verschlechterung einer kritischen Kontrolle nicht verdecken.

Jedem Signal muss eine mögliche Reaktion und eine verantwortliche Person zugeordnet sein. Je nach Risiko kann das Team eine Stichprobe untersuchen, die menschliche Prüfung verstärken, ein Werkzeug einschränken, die Automatisierung begrenzen oder auf eine frühere Version zurücksetzen. Pausen oder Rollbacks müssen durch überprüfbare Betriebssteuerungen umgesetzt werden; eine Warnmeldung allein stoppt den Agenten nicht und verhindert keine weiteren Aktionen.

Legen Sie den Schwellenwert gemeinsam mit den Verantwortlichen des Prozesses fest und berücksichtigen Sie die Kosten eines Fehlalarms im Verhältnis zu den Folgen eines übersehenen Fehlers. Die statistische Signifikanz hängt von der Metrik, dem Ausgangsniveau, dem Stichprobendesign und den verwendeten Annahmen ab. Ohne diese Angaben lässt sich nicht behaupten, eine feste Stichprobengröße erkenne eine bestimmte Veränderung mit universeller Sicherheit.

Auf eine mögliche Qualitätsregression reagieren

  1. 01Prüfen Sie, ob die Warnung eine relevante Änderung betrifft und ob Stichprobe und Bedingungen einen Vergleich mit der Baseline erlauben.
  2. 02Untersuchen Sie konkrete Fälle, Traces und Konfigurationen; unterscheiden Sie eine Regression des Agenten von Änderungen an Daten, externen Systemen oder Evaluationskriterien.
  3. 03Lassen Sie mehrdeutige Fälle oder Fälle mit hohem Schadenspotenzial von Menschen prüfen und ordnen Sie den Schweregrad nach Folgen und Umkehrbarkeit ein.
  4. 04Ergreifen Sie eine verhältnismäßige Maßnahme: weiter beobachten, Autonomie einschränken, ein Werkzeug deaktivieren oder den betroffenen Ablauf pausieren.
  5. 05Prüfen Sie die Korrektur mit Regressionstests, bevor Sie den Einsatz wieder aufnehmen oder ausweiten, und dokumentieren Sie das Betriebsergebnis.

Signal und mögliche erste Maßnahme

SignalMögliche erste MaßnahmeLässt für sich genommen keinen Schluss zu auf
Mehr unvollständige AntwortenFälle prüfen und nach Aufgabentyp vergleichen.Eine gleichmäßige Verschlechterung des gesamten Systems.
Verbotenes Werkzeug oder Parameter außerhalb eines GrenzwertsBetroffene Funktion eindämmen und die Berechtigungssteuerung prüfen.Dass sich das Problem allein durch eine Änderung des Prompts beheben lässt.
Niedrigere automatische BewertungEvaluator, Stichprobe, Versionen und menschliche Referenzen prüfen.Eine geringere Korrektheit des Agenten, ohne konkrete Fälle zu verifizieren.
Unvollständige TracesSchwer auditierbare Vorgänge einschränken und die Instrumentierung verbessern.Dass ein vollständiger Trace eine richtige Entscheidung garantiert.
06

Fehler in Regressionstests überführen

Eine Interaktion, die ein Problem aufdeckt, kann dazu dienen, das erneute Auftreten desselben Fehlers zu prüfen. Bevor Sie sie in einen Testsatz aufnehmen, reduzieren Sie das Beispiel auf das notwendige Minimum, entfernen Sie gegebenenfalls identifizierende Informationen und bewahren Sie den funktionalen Kontext, der die Fehlerhaftigkeit des Ergebnisses erklärt. Nicht jedes Produktionsprotokoll sollte automatisch zu einem Testdatensatz werden.

Jeder Testfall sollte eine klar definierte Aufgabe, das erwartete Ergebnis oder die Bewertungskriterien, die relevanten Bedingungen und die zugehörige Version enthalten. Umfasst der Fall ein Werkzeug, halten Sie auch fest, welcher Aufruf zulässig war und welcher vermieden werden musste. Wenn mehrere Antworten akzeptabel sind, kann die Erwartung eine überprüfbare Eigenschaft beschreiben, statt einen einzigen exakten Wortlaut zu verlangen.

Halten Sie Entwicklungsfälle und Fälle, die zur Prüfung von Änderungen zurückgestellt werden, getrennt. Wird ein Agent wiederholt anhand derselben Beispiele angepasst, kann er sich in diesem Testsatz verbessern, ohne das allgemeinere Problem zu lösen. Ergänzen Sie neue repräsentative Fälle, überprüfen Sie ältere Daten und dokumentieren Sie, warum jeder Test beibehalten wird.

Änderungen am Modell, an den Anweisungen, Werkzeugen, Berechtigungen, abgerufenen Quellen und Geschäftsregeln können das Verhalten verändern. Ein Regressionstestsatz hilft, die Ergebnisse nach einer Änderung zu vergleichen; er beweist jedoch keine Stabilität unter allen Produktionsbedingungen. Die Evaluation muss weiterhin an Risiken und tatsächliche Nutzung gekoppelt bleiben.

07

Praktische Kriterien für den laufenden Betrieb

Beginnen Sie mit einer klar abgegrenzten Aufgabe und einem Fehler, dessen Folgen nachvollziehbar sind. Definieren Sie die erwartete Qualität, nicht kompensierbare Kontrollen und den Prüfprozess, bevor die Evaluation mit realem Traffic verbunden wird. Ein zunächst begrenzter Umfang kann sinnvoller sein, als ohne klaren Zweck alles zu protokollieren.

Kombinieren Sie Infrastrukturmetriken, Traces und funktionale Prüfungen. Verwenden Sie deterministische Regeln für exakt messbare Eigenschaften, menschliche Prüfung für schwierige Urteile und modellbasierte Evaluatoren erst, nachdem Sie sie anhand geeigneter Referenzen überprüft haben. Halten Sie die verschiedenen Signale auseinander: Eine automatische Punktzahl ist eine Messung; einen bestätigten Vorfall festzustellen, erfordert die Interpretation des Falls und seines Kontexts.

Behandeln Sie Datenschutz und Sicherheit als Teil des Designs. Minimieren Sie erfasste Daten, begrenzen Sie Aufbewahrungsdauer und Zugriffe und legen Sie fest, ob externe Evaluatoren Interaktionsinhalte erhalten. Speichern Sie vollständige Gespräche nicht allein deshalb, weil sie später nützlich sein könnten; die Erhebung muss einem konkreten Zweck und den geltenden Anforderungen entsprechen.

Eine kontinuierliche Evaluation ist dann wertvoll, wenn sie hilft zu erklären, was sich geändert hat, welche Bedingung verletzt wurde und welche betriebliche Entscheidung ansteht. Sie ersetzt weder deterministische Kontrollen noch Tests vor der Bereitstellung, menschliche Aufsicht bei sensiblen Handlungen oder die Prüfung von Systemänderungen. Ziel ist es, aussagekräftige Signale mit klaren Grenzen zu erkennen und zu reagieren, bevor ein nicht akzeptables Verhalten größere Auswirkungen hat.

Betriebliche Checkliste

FragePraktisches Kriterium
Ist die Aufgabe definiert?Es gibt ein überprüfbares Ergebnis, Grenzfälle und Bedingungen für Enthaltung oder Eskalation.
Wird auch der Ablauf und nicht nur der Text bewertet?Der Trace erlaubt die Prüfung relevanter Quellen, Werkzeuge, Parameter und Genehmigungen.
Ist die Telemetrie geschützt?Daten werden minimiert; Zugriffe, Verwendungszwecke und Aufbewahrungsfristen sind festgelegt.
Wurde der Evaluator abgeglichen?Seine Fehler werden mit menschlichen Entscheidungen oder verifizierten Referenzen verglichen.
Führt eine Warnmeldung zu einer Maßnahme?Es gibt eine verantwortliche Person, einen Prüfweg und die Möglichkeit, den Ablauf einzuschränken oder zu stoppen.
Werden Änderungen geprüft?Regressionstests werden mit dokumentierten Versionen und Kriterien ausgeführt.
08

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen