Détecter les régressions de qualité des agents IA en production
Image générée par l’équipe éditoriale d’Inferama
01

La disponibilité ne garantit pas la qualité

Un agent peut répondre à toutes les demandes, maintenir une latence acceptable et ne signaler aucune erreur d’infrastructure, tout en exécutant mal la tâche. Il peut omettre une condition, consulter une source obsolète, appeler un outil inadapté ou présenter comme certain un résultat qui doit être vérifié. Un tableau de bord limité à la disponibilité, aux erreurs, au temps de réponse et à la consommation ne repère pas nécessairement ces problèmes.

Il faut distinguer trois questions. Le service est-il toujours opérationnel ? Quelles étapes l’agent a-t-il exécutées ? Le résultat a-t-il respecté l’objectif et les règles du processus ? Les métriques techniques répondent à la première question ; les traces permettent de reconstituer la deuxième ; les évaluations de tâches examinent la troisième. Aucune de ces couches ne remplace les autres : une réponse correcte ne prouve pas que le chemin suivi était autorisé, et une trace complète ne prouve pas que le résultat était utile.

L’évaluation de la qualité doit partir de l’usage concret et des conséquences d’une erreur. Pour une tâche de recherche, la réponse devra peut-être s’appuyer sur un dossier à jour. Pour une action transactionnelle, il peut être obligatoire de valider les paramètres et d’obtenir une autorisation. Un indicateur agrégé peut masquer des défaillances importantes dans une catégorie de tâches, une langue, un type d’utilisateur ou une étape du flux.

Une évaluation continue peut aider à repérer des changements de comportement après le déploiement. Elle ne garantit pas la détection de chaque défaillance et ne transforme pas automatiquement chaque différence de score en régression avérée. L’interprétation dépend du jeu de cas, de l’évaluateur, de la configuration comparée et de l’incertitude de la mesure.

Trois niveaux de contrôle

NiveauQuestion poséeExemples de signaux
Santé techniqueLe service est-il opérationnel ?Disponibilité, erreurs, latence, nouvelles tentatives et consommation.
ComportementQu’a fait l’agent pour accomplir la tâche ?Sources récupérées, outils appelés, paramètres et transferts à un opérateur.
Qualité fonctionnelleLe résultat est-il correct et acceptable pour le processus ?Tâche accomplie, règles respectées, sources pertinentes et action autorisée.
02

Définir ce qu’est une tâche correctement accomplie

Une métrique de qualité n’est utile que si elle correspond à une condition importante pour l’usage prévu. « Bonne réponse » est trop vague pour guider une alerte. Précisez ce que l’agent doit produire, les actions qu’il ne peut pas effectuer, les situations où il doit s’abstenir et les éléments permettant de vérifier le résultat. Il est préférable de définir ces critères avant d’observer les résultats, afin de réduire le risque d’ajuster les règles à ce que le système a déjà fait.

Associez des vérifications déterministes à une évaluation interprétative lorsque le cas l’exige. Un validateur classique peut vérifier la présence d’un champ obligatoire, l’appartenance d’un identifiant à une liste autorisée ou le respect d’un schéma de sortie. Il ne peut pas déterminer à lui seul si une explication rend fidèlement compte d’un document ambigu. Pour évaluer le sens, des grilles appliquées par des personnes ou des évaluateurs fondés sur des modèles peuvent aider, mais leurs jugements doivent aussi être comparés à des références humaines.

La réussite globale d’une tâche ne suffit pas toujours. Consignez séparément les défaillances critiques, les cas incomplets, les abstentions appropriées, les interventions humaines et les actions dépassant les autorisations accordées. Un taux moyen peut s’améliorer alors qu’un contrôle qui ne devrait pas être compensé par de bons résultats sur des tâches simples se dégrade.

Les exemples ci-dessous montrent comment traduire des objectifs propres à différents agents en critères vérifiables. Ce ne sont pas des seuils universels : chaque équipe doit les adapter à ses données, ses règles, ses outils et son niveau de risque.

Exemples de critères par tâche

Type d’agentCritères vérifiablesÉléments nécessitant une interprétation ou un examen supplémentaire
Assistant de programmationLes tests définis réussissent-ils ? Les restrictions relatives aux fichiers ou aux dépendances sont-elles respectées ? Le compilateur ou l’analyseur accepte-t-il la sortie ?La solution est-elle adaptée à la conception, maintenable et sûre ? La réussite d’un test n’exclut pas tous les défauts.
Recherche documentaireLes affirmations renvoient-elles aux documents récupérés ? La version et la date sont-elles pertinentes ? L’agent s’abstient-il lorsque l’appui manque ?La citation étaye-t-elle réellement l’affirmation ? La synthèse omet-elle une réserve importante ?
Service clientL’agent identifie-t-il le problème et applique-t-il la politique en vigueur ? Évite-t-il de divulguer des données hors de ses autorisations ? Transfère-t-il les cas nécessitant une intervention humaine ?La réponse satisfait-elle le besoin du client dans un ton approprié ? L’agent interprète-t-il correctement une exception ?
Agent utilisant des outilsChoisit-il un outil autorisé ? Fournit-il des arguments valides ? Demande-t-il une approbation avant une action sensible ?La trajectoire était-elle proportionnée ? Le contexte complet justifiait-il l’action ?
03

Évaluer les interactions sans interrompre le service

Une architecture d’évaluation en mode silencieux analyse une interaction de production sans modifier la réponse reçue par l’utilisateur ni déclencher une seconde action dans le système métier. Elle peut, par exemple, évaluer une trace déjà enregistrée ou une copie assainie d’une conversation une fois la tâche terminée. L’évaluation ne doit pas réexécuter d’actions externes : un second appel à un outil d’écriture pourrait dupliquer une opération ou provoquer des effets indésirables.

L’échantillonnage peut réduire le volume à examiner, mais aucune proportion ne convient à tous les cas. Le choix dépend de la fréquence des situations, de la variabilité des résultats, de la sensibilité du processus et du changement à détecter. Un échantillon aléatoire aide à représenter le trafic étudié ; un échantillon ciblant des incidents peut révéler des défaillances rares, mais ne suffit pas à en estimer la fréquence dans l’ensemble de la population. Séparer ces deux objectifs évite de prendre une recherche de cas difficiles pour une mesure représentative.

Avant d’attribuer un score à des interactions réelles, limitez la collecte au nécessaire. Les traces peuvent contenir des messages, des documents, des arguments d’outils et des données personnelles. Appliquez dès la conception des principes de minimisation, de filtrage, de contrôle d’accès et de conservation adaptée. Si une évaluation transmet le contenu à un autre modèle pour l’analyser, vérifiez aussi quelles données quittent l’application, où elles sont traitées et quelles conditions s’appliquent au service configuré.

Microsoft Foundry documente l’exécution d’évaluations sur des jeux de test et décrit la supervision continue en production. Cette documentation présente les capacités de la plateforme ; elle ne définit pas de taille d’échantillon universelle et ne démontre pas que toute évaluation silencieuse est aléatoire, sans risque pour la vie privée ou suffisante pour détecter une régression précise.

Processus d’évaluation en mode silencieux

  1. 01Définissez les catégories d’interactions à observer et l’objectif poursuivi : estimer les performances habituelles, examiner une défaillance ou surveiller un contrôle critique.
  2. 02Sélectionnez un échantillon selon une méthode documentée ; distinguez les échantillons représentatifs de ceux qui ciblent des cas rares ou à risque élevé.
  3. 03Supprimez ou transformez les champs inutiles et limitez l’accès aux données d’origine et aux résultats.
  4. 04Évaluez le résultat et, si nécessaire, la trajectoire enregistrée. Ne répétez pas en production les actions externes de l’agent.
  5. 05Consignez la version de l’agent, ses instructions, son modèle, ses outils, l’évaluateur, les critères et la date afin d’interpréter les comparaisons ultérieures.
04

Valider les évaluateurs avant de se fier à leurs scores

Un évaluateur fondé sur un modèle peut classer des réponses à l’aide d’une grille et traiter davantage de cas qu’un examen manuel exhaustif. Il peut toutefois manquer une exception, favoriser les réponses plus longues ou attribuer des notes différentes selon la langue et la formulation. Son score est un signal à calibrer, pas une valeur de référence incontestable.

Préparez des exemples dont l’évaluation a été examinée par des personnes connaissant le processus. Incluez des cas corrects, incomplets, incorrects et limites ; comparez le jugement automatique à la référence et examinez séparément les fausses acceptations et les faux rejets. Si les erreurs de l’évaluateur touchent un contrôle important, modifiez la grille, changez de méthode ou imposez un examen humain avant d’utiliser le score pour une décision opérationnelle.

Les règles déterministes sont préférables lorsque la propriété peut être vérifiée exactement : présence d’un champ, format structuré, existence d’un identifiant, seuil numérique ou appel à un outil interdit. Mais une sortie syntaxiquement valide peut contenir des informations fausses. Le score élevé d’un juge ne démontre pas non plus que l’agent a utilisé des sources autorisées ou que son résultat est correct dans tous les cas.

Versionnez les critères et l’évaluateur. Une modification de la grille, du modèle juge ou de sa configuration peut changer les scores sans que l’agent ait évolué. Pour qu’une comparaison soit pertinente, consignez la configuration complète et, lorsque c’est possible, évaluez les versions comparées avec les mêmes cas et dans les mêmes conditions.

Choisir une méthode d’évaluation

Propriété à vérifierMéthode de départ adaptéeLimite à garder à l’esprit
Format, champs et plages de valeursValidateur déterministeIl vérifie la structure ou les limites, pas nécessairement le sens.
Autorisations et appels d’outilsRègles du système, journaux et tests contrôlésLes journaux permettent de reconstituer les appels ; l’autorisation doit être appliquée par le système concerné.
Pertinence d’une synthèse ou d’une explicationGrille humaine ou évaluateur fondé sur un modèle et calibréLe résultat dépend de la qualité de la grille et des performances de l’évaluateur.
Exactitude dans un cas à fort impactRéférence experte et examen humainUne évaluation automatisée peut aider, mais ne remplace pas la responsabilité de l’approbation.
05

Définir des alertes et une réponse proportionnée

Une alerte utile repose sur une référence adaptée à la tâche et sur un critère d’action défini avant l’incident. Comparez des périodes et des versions uniquement lorsque les conditions sont suffisamment comparables ; une évolution du trafic, des données, des outils ou de la configuration peut expliquer un écart. Si le volume est faible ou la variabilité habituelle élevée, une différence observée ne suffit pas toujours à conclure à une régression.

N’utilisez pas un score agrégé unique comme seuil d’autorisation. Distinguez les contrôles non négociables — par exemple, un accès indu, une écriture non autorisée ou l’omission d’une validation obligatoire — des objectifs graduels comme la latence ou la qualité stylistique. Une amélioration dans un domaine ne doit pas masquer la dégradation d’un contrôle critique.

Chaque signal doit entraîner une réponse possible et désigner un responsable. Selon le risque, l’équipe peut examiner un échantillon, augmenter le contrôle humain, restreindre un outil, limiter l’automatisation ou revenir à une version antérieure. La suspension ou le retour arrière doit s’appuyer sur des contrôles opérationnels vérifiables ; une alerte, à elle seule, n’arrête pas l’agent et n’empêche pas de nouvelles actions.

Définissez le seuil avec les responsables du processus et évaluez le coût d’une fausse alerte par rapport au risque de ne pas détecter la défaillance. La significativité statistique dépend de la métrique, de la valeur de référence, du plan d’échantillonnage et des hypothèses retenues. Sans ces éléments, on ne peut pas affirmer qu’une taille d’échantillon fixe détectera une variation donnée avec une confiance universelle.

Réagir à un signal de régression

  1. 01Vérifiez que l’alerte correspond à un changement important et que l’échantillon et les conditions permettent une comparaison avec la référence.
  2. 02Examinez des cas, des traces et la configuration ; distinguez une régression de l’agent d’un changement des données, des systèmes externes ou des critères d’évaluation.
  3. 03Faites examiner les cas ambigus ou à fort impact par une personne et classez leur gravité selon leurs conséquences et leur réversibilité.
  4. 04Appliquez une mesure proportionnée : maintenir une surveillance, limiter l’autonomie, désactiver un outil ou suspendre le flux concerné.
  5. 05Vérifiez la correction avec des tests de régression avant de rétablir ou d’élargir l’usage, puis consignez le résultat opérationnel.

Signal et première mesure possible

SignalPremière mesure possibleCe que le signal ne prouve pas à lui seul
Hausse des réponses incomplètesExaminer les cas et comparer les résultats par type de tâche.Que l’ensemble du système se soit dégradé de façon uniforme.
Outil interdit ou paramètre hors limiteContenir la capacité concernée et examiner le contrôle des autorisations.Que la modification du seul prompt résoudra le problème.
Baisse d’un score automatiséVérifier l’évaluateur, l’échantillon, les versions et les références humaines.Que l’agent soit moins exact sans examen des exemples.
Traces insuffisantesLimiter les opérations difficiles à auditer et corriger l’instrumentation.Qu’une trace complète garantisse une décision correcte.
06

Transformer les défaillances en tests de régression

Une interaction qui révèle un problème peut servir à vérifier que la même défaillance ne réapparaît pas. Avant de l’ajouter à un jeu de tests, réduisez l’exemple au minimum nécessaire, supprimez les informations identifiantes si besoin et conservez le contexte fonctionnel qui explique l’erreur. Tous les journaux de production ne doivent pas devenir automatiquement des données de test.

Chaque cas doit préciser la tâche, le résultat attendu ou les critères d’évaluation, les conditions pertinentes et la version concernée. Si le cas fait intervenir un outil, consignez aussi quel appel était valable et lequel devait être évité. Lorsque plusieurs formulations sont acceptables, l’attente peut décrire une propriété vérifiable plutôt qu’imposer une réponse textuelle unique.

Séparez les cas de développement de ceux qui sont réservés à la vérification des changements. Si l’équipe ajuste l’agent à répétition sur les mêmes exemples, elle risque d’améliorer ses résultats sur ce jeu sans résoudre le problème plus général. Ajoutez de nouveaux cas représentatifs, réexaminez les anciens et consignez les raisons de leur maintien.

Les modifications du modèle, des instructions, des outils, des autorisations, des sources récupérées et des règles métier peuvent changer le comportement. L’exécution d’un jeu de régression après une modification permet de comparer les résultats, mais ne prouve pas que le système est stable dans toutes les conditions de production. L’évaluation doit rester liée aux risques et à l’usage réel.

07

Critères pratiques pour une évaluation continue

Commencez par une tâche circonscrite et une défaillance dont les conséquences sont compréhensibles. Définissez la qualité attendue, les contrôles qui ne peuvent pas être compensés et la procédure d’examen avant de relier l’évaluation au trafic réel. Une première configuration limitée peut être préférable à une collecte exhaustive sans objectif clair.

Associez métriques d’infrastructure, traces et vérifications fonctionnelles. Utilisez des règles déterministes pour les propriétés exactes, un examen humain pour les décisions complexes et des évaluateurs fondés sur des modèles uniquement après les avoir comparés à des références adéquates. Distinguez les types de signaux : un score automatisé est une mesure ; un incident confirmé suppose d’interpréter le cas et son contexte.

Intégrez la confidentialité et la sécurité à la conception. Minimisez les données collectées, limitez leur durée de conservation et les accès, et déterminez si les évaluateurs externes reçoivent le contenu des interactions. Ne conservez pas des conversations complètes uniquement parce qu’elles pourraient être utiles plus tard ; la collecte doit répondre à un objectif précis et aux obligations applicables.

Une évaluation continue est utile lorsqu’elle aide à expliquer ce qui a changé, quelle condition a échoué et quelle décision opérationnelle s’impose. Elle ne remplace pas les contrôles déterministes, les tests avant déploiement, la supervision humaine des actions sensibles ni l’examen des changements du système. L’objectif est de détecter des signaux utiles, avec des limites explicites, et de réagir avant qu’un comportement inacceptable n’ait un impact plus large.

Liste de contrôle opérationnelle

QuestionCritère pratique
La tâche est-elle définie ?Le résultat est vérifiable ; les cas limites et les conditions d’abstention ou de transfert sont précisés.
Le processus est-il évalué en plus du texte ?La trace permet d’examiner les sources, outils, paramètres et approbations pertinents.
La télémétrie est-elle protégée ?Les données sont minimisées et les accès, usages et durées de conservation sont définis.
L’évaluateur a-t-il été comparé à une référence ?Ses erreurs sont mises en regard de décisions humaines ou de références vérifiées.
L’alerte entraîne-t-elle une action ?Un responsable, une procédure d’examen et une possibilité de limiter ou d’arrêter le flux sont prévus.
Les changements sont-ils vérifiés ?Les tests de régression sont exécutés avec des versions et des critères consignés.
08

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction