Come individuare regressioni di qualità negli agenti IA in produzione
Immagine generata dalla Redazione di Inferama
01

Disponibilità non significa qualità

Un agente può rispondere a tutte le richieste, mantenere una latenza accettabile e non registrare guasti infrastrutturali, ma svolgere male il compito. Può ignorare una condizione, consultare una fonte non aggiornata, usare uno strumento inappropriato o presentare come certo un risultato che richiede una verifica. Un pannello che misura soltanto disponibilità, errori, tempi di risposta e consumo non rileva necessariamente questi problemi.

Conviene distinguere tre domande. Il servizio è ancora operativo? Quali passaggi ha eseguito l’agente? Il risultato ha soddisfatto lo scopo e le regole del processo? Le metriche tecniche aiutano a rispondere alla prima; le tracce permettono di ricostruire la seconda; le valutazioni delle attività esaminano la terza. Nessuno di questi livelli sostituisce gli altri: una risposta corretta non dimostra che il percorso fosse autorizzato, e una traccia completa non dimostra che il risultato fosse utile.

La valutazione della qualità deve partire dall’uso concreto e dalle conseguenze di un errore. In un’attività di consultazione può essere essenziale che la risposta sia supportata da un record aggiornato. In un’azione transazionale può essere obbligatorio convalidare i parametri e richiedere un’autorizzazione. Un indicatore aggregato può nascondere problemi importanti in una categoria di attività, in una lingua, in un tipo di utente o in una fase del flusso.

La valutazione continua può aiutare a individuare cambiamenti nel comportamento dell’agente dopo la distribuzione. Non garantisce che ogni problema venga rilevato e non trasforma automaticamente ogni differenza di punteggio in una regressione reale. L’interpretazione dipende dal set di casi, dal valutatore, dalla configurazione confrontata e dall’incertezza della misurazione.

Tre livelli di controllo

LivelloDomanda a cui rispondeEsempi di segnali
Salute tecnicaIl servizio è operativo?Disponibilità, errori, latenza, tentativi ripetuti e consumo.
ComportamentoChe cosa ha fatto l’agente per completare il compito?Fonti recuperate, strumenti invocati, parametri e passaggi a una persona.
Qualità funzionaleIl risultato era corretto e accettabile per il processo?Compito completato, regole rispettate, fonti pertinenti e azione autorizzata.
02

Definisci che cosa significa svolgere bene un compito

Una metrica di qualità è utile solo se corrisponde a una condizione rilevante per l’uso previsto. «Risposta buona» è troppo vago per guidare un avviso. Specifica che cosa deve produrre l’agente, quali azioni non può eseguire, quando deve astenersi e quali elementi consentono di verificare il risultato. È preferibile definire questi criteri prima di osservare i risultati, così da ridurre il rischio di adattare le regole a ciò che il sistema ha già fatto.

Combina verifiche deterministiche e valutazioni interpretative quando necessario. Un validatore convenzionale può controllare la presenza di un campo obbligatorio, l’appartenenza di un identificativo a un insieme autorizzato o la conformità dell’output a uno schema. Non può decidere da solo se una spiegazione rappresenta fedelmente un documento ambiguo. Per valutare il significato si possono usare rubriche applicate da persone o valutatori basati su modelli, ma anche le loro decisioni vanno confrontate con riferimenti umani.

Il successo complessivo di un compito non è sempre sufficiente. Registra separatamente gli errori critici, i casi incompleti, le astensioni appropriate, gli interventi umani e le azioni che superano i permessi concessi. Una media può migliorare mentre peggiora un controllo che non dovrebbe essere compensato da buoni risultati nei compiti semplici.

Gli esempi seguenti mostrano come tradurre gli obiettivi di agenti diversi in criteri verificabili. Non sono soglie universali: ogni gruppo deve adattarli ai propri dati, alle proprie regole, ai propri strumenti e al livello di rischio.

Esempi di criteri per attività

Tipo di agenteCriteri verificabiliAspetti che richiedono interpretazione o revisione aggiuntiva
Assistente di programmazioneSupera i test definiti? Rispetta i vincoli relativi ai file o alle dipendenze? Produce un output accettato dal compilatore o dall’analizzatore?Se la soluzione è adatta al progetto, manutenibile e sicura; il superamento di un test non esclude tutti i difetti.
Ricerca documentaleLe affermazioni citano i documenti recuperati? La versione e la data sono pertinenti? L’agente si astiene quando manca il supporto necessario?Se la citazione sostiene davvero l’affermazione o se la sintesi omette una riserva importante.
Assistenza clientiIdentifica il problema e applica la policy aggiornata? Evita di divulgare dati senza autorizzazione? Inoltra i casi che richiedono una persona?Se la risposta soddisfa le esigenze del cliente con un tono appropriato o interpreta correttamente un’eccezione.
Agente con strumentiSeleziona uno strumento autorizzato? Invia argomenti validi? Richiede approvazione prima di un’azione sensibile?Se il percorso era proporzionato e se l’azione era giustificata dall’intero contesto.
03

Valuta le interazioni senza interrompere il servizio

Un’architettura di valutazione in modalità shadow analizza un’interazione di produzione senza modificare la risposta ricevuta dall’utente né eseguire una seconda azione sul sistema aziendale. Per esempio, può valutare una traccia già registrata o una copia sanificata della conversazione dopo la conclusione del compito. La valutazione non deve ripetere azioni esterne: una seconda chiamata a uno strumento di scrittura potrebbe duplicare un’operazione o provocare effetti indesiderati.

Il campionamento può ridurre il volume da esaminare, ma non esiste una proporzione universale adeguata. Dipende dalla frequenza dei casi, dalla variabilità dei risultati, dalla sensibilità del processo e dal cambiamento che si vuole rilevare. Un campione casuale aiuta a rappresentare il traffico da studiare; un campione mirato agli incidenti può far emergere problemi rari, ma da solo non ne stima la frequenza nell’intera popolazione. Separare questi due obiettivi evita di scambiare una ricerca di casi difficili per una misurazione rappresentativa.

Prima di assegnare un punteggio a interazioni reali, limita la raccolta ai dati necessari. Le tracce possono contenere messaggi, documenti, argomenti degli strumenti e dati personali. Applica fin dall’inizio minimizzazione, filtraggio, controlli di accesso e una conservazione adeguata. Se una valutazione invia contenuti a un altro modello perché li giudichi, verifica anche quali dati escono dall’applicazione, dove vengono elaborati e quali condizioni si applicano al servizio configurato.

Microsoft Foundry documenta l’esecuzione di valutazioni su set di test e descrive il monitoraggio continuo in produzione. La documentazione illustra le funzionalità della piattaforma, ma non stabilisce una dimensione universale del campione, né dimostra che qualunque progetto di valutazione in modalità shadow sia casuale, privo di rischi per la privacy o sufficiente a rilevare una regressione specifica.

Flusso di valutazione in modalità shadow

  1. 01Definisci quali tipi di interazione osservare e per quale scopo: stimare le prestazioni abituali, indagare un problema o monitorare un controllo critico.
  2. 02Seleziona un campione con un metodo documentato; tieni separati i campioni rappresentativi da quelli mirati a casi rari o ad alto rischio.
  3. 03Rimuovi o trasforma i campi non necessari e limita chi può consultare i dati originali e i risultati.
  4. 04Valuta il risultato e, quando pertinente, la traiettoria registrata. Non ripetere in produzione le azioni esterne dell’agente.
  5. 05Registra la versione dell’agente, le istruzioni, il modello, gli strumenti, il valutatore, i criteri e la data, così da poter interpretare i confronti successivi.
04

Convalida i valutatori prima di fidarti dei loro punteggi

Un valutatore basato su un modello può classificare le risposte secondo una rubrica e trattare più casi di una revisione manuale esaustiva. Tuttavia, può anche non cogliere un’eccezione, preferire risposte più lunghe o assegnare punteggi diversi in base alla lingua e alla formulazione. Il suo punteggio è un segnale da calibrare, non un riferimento di verità.

Prepara esempi valutati da persone che conoscono il processo. Includi casi corretti, incompleti, errati e di confine; confronta la decisione automatica con quella di riferimento ed esamina separatamente i falsi positivi e i falsi negativi. Se gli errori del valutatore incidono su un controllo importante, modifica la rubrica, cambia metodo o richiedi una revisione umana prima di usare il punteggio per una decisione operativa.

Le regole deterministiche sono preferibili quando una proprietà può essere verificata in modo esatto: presenza di un campo, formato strutturato, esistenza di un identificativo, limite numerico o chiamata a uno strumento vietato. Ma un output sintatticamente valido può contenere informazioni false. Un punteggio elevato assegnato da un giudice non dimostra neppure che l’agente abbia usato fonti autorizzate o che il risultato sia corretto in tutti i casi.

Mantieni versioni dei criteri e del valutatore. Una modifica alla rubrica, al modello giudice o alla configurazione può cambiare il punteggio senza che l’agente sia cambiato. Per rendere significativo un confronto, registra la configurazione completa e, quando possibile, valuta le versioni confrontate usando lo stesso insieme di casi e le stesse condizioni.

Scegliere il metodo di valutazione

Proprietà da verificareMetodo iniziale adeguatoLimite da tenere presente
Formato, campi e intervalliValidatore deterministicoVerifica la struttura o i limiti, non necessariamente il significato.
Permessi e chiamate agli strumentiRegole di sistema, registri e test controllatiIl registro permette di ricostruire le chiamate; l’autorizzazione va applicata nel sistema pertinente.
Pertinenza di una sintesi o spiegazioneRubrica umana o valutatore basato su un modello calibratoIl risultato dipende dalla qualità della rubrica e dalle prestazioni del valutatore.
Correttezza in un caso ad alto impattoRiferimento specialistico e revisione umanaUna valutazione automatica può essere d’aiuto, ma non sostituisce la responsabilità dell’approvazione.
05

Definisci avvisi e una risposta proporzionata

Un avviso utile parte da una baseline adeguata al compito e da un criterio d’intervento definito prima dell’incidente. Confronta periodi e versioni solo quando le condizioni sono sufficientemente comparabili; una variazione del traffico, dei dati, degli strumenti o della configurazione può spiegare una differenza. Se il volume è ridotto o la variabilità abituale è elevata, uno scostamento osservato potrebbe non bastare a concludere che ci sia una regressione.

Non usare un solo punteggio aggregato come criterio di approvazione. Distingui i controlli non negoziabili — per esempio un accesso non autorizzato, una scrittura non autorizzata o la perdita di una convalida obbligatoria — dagli obiettivi graduabili, come la latenza o la qualità stilistica. Un miglioramento in un’area non dovrebbe nascondere il peggioramento di un controllo critico.

Ogni segnale richiede una possibile risposta e un responsabile. A seconda del rischio, il gruppo può esaminare un campione, aumentare la revisione umana, limitare uno strumento, ridurre l’automazione o ripristinare una versione precedente. La pausa o il ripristino devono essere applicati con controlli operativi verificabili; un avviso, da solo, non ferma l’agente né impedisce nuove azioni.

Definisci la soglia con il responsabile del processo e valuta il costo di un falso allarme rispetto a quello di un problema non rilevato. La significatività statistica dipende dalla metrica, dal livello di riferimento, dal disegno di campionamento e dalle ipotesi adottate. Senza questi elementi, non è corretto affermare che una dimensione fissa del campione rileverà una variazione specifica con una fiducia universale.

Rispondere a un segnale di regressione

  1. 01Verifica che l’avviso corrisponda a una variazione rilevante e che il campione e le condizioni consentano il confronto con la baseline.
  2. 02Esamina i singoli casi, le tracce e la configurazione; distingui una regressione dell’agente da una variazione dei dati, dei sistemi esterni o dei criteri di valutazione.
  3. 03Richiedi una revisione umana per i casi ambigui o ad alto impatto e classifica la gravità in base alle conseguenze e alla reversibilità.
  4. 04Applica una misura proporzionata: mantenere il monitoraggio, limitare l’autonomia, disattivare uno strumento o sospendere il flusso interessato.
  5. 05Verifica la correzione con test di regressione prima di ripristinare o ampliare l’uso e documenta il risultato operativo.

Segnale e prima risposta possibile

SegnalePossibile prima rispostaChe cosa non dimostra da solo
Più risposte incompleteEsaminare i casi e confrontare i risultati per tipo di attività.Che l’intero sistema sia peggiorato allo stesso modo.
Strumento vietato o parametro fuori limiteContenere la funzionalità interessata e verificare il controllo delle autorizzazioni.Che il problema si risolva modificando soltanto il prompt.
Calo di un punteggio automaticoControllare valutatore, campione, versioni e riferimenti umani.Che l’agente sia meno corretto senza verificare gli esempi.
Tracce insufficientiLimitare le operazioni difficili da verificare e correggere la strumentazione.Che una traccia completa garantisca una decisione corretta.
06

Trasforma i problemi in test di regressione

Un’interazione che rivela un problema può aiutare a verificare che lo stesso errore non si ripresenti. Prima di inserirla in un set di test, riduci l’esempio al minimo necessario, elimina i dati identificabili quando opportuno e conserva il contesto funzionale che spiega perché il risultato era errato. Non tutti i registri di produzione devono diventare automaticamente dati di test.

Ogni caso dovrebbe includere un compito definito, il risultato atteso o i criteri di valutazione, le condizioni pertinenti e la versione a cui si riferisce. Se il caso coinvolge uno strumento, registra anche quale chiamata era valida e quale andava evitata. L’aspettativa può descrivere una proprietà verificabile senza imporre un’unica risposta testuale quando ne esistono diverse accettabili.

Tieni distinti i casi di sviluppo e quelli riservati alla verifica delle modifiche. Se il gruppo ottimizza ripetutamente l’agente sugli stessi esempi, potrebbe migliorare su quel set senza risolvere il problema più generale. Aggiungi nuovi casi rappresentativi, rivedi quelli precedenti e documenta il motivo per cui ogni test viene mantenuto.

Le modifiche al modello, alle istruzioni, agli strumenti, ai permessi, alle fonti recuperate e alle regole aziendali possono alterare il comportamento. Eseguire un set di regressione dopo una modifica aiuta a confrontare i risultati, ma non dimostra che il sistema sia stabile in tutte le condizioni di produzione. La valutazione deve restare legata al rischio e all’uso reale.

07

Criteri pratici per gestire la valutazione continua

Inizia con un compito circoscritto e un problema dalle conseguenze comprensibili. Definisci la qualità attesa, i controlli che non ammettono compensazioni e la procedura di revisione prima di collegare la valutazione al traffico reale. Una configurazione iniziale più limitata può essere preferibile a registrare tutto senza uno scopo chiaro.

Combina metriche infrastrutturali, tracce e verifiche funzionali. Usa regole deterministiche per proprietà esatte, revisione umana per decisioni difficili e valutatori basati su modelli solo dopo averli confrontati con riferimenti adeguati. Mantieni distinte le diverse evidenze: un punteggio automatizzato è una misurazione; per confermare un incidente occorre interpretare il caso e il suo contesto.

Considera privacy e sicurezza parte integrante del progetto. Riduci al minimo i dati raccolti, limita la conservazione e gli accessi e stabilisci se i valutatori esterni ricevono contenuti delle interazioni. Non conservare conversazioni complete solo perché potrebbero essere utili in futuro: la necessità deve corrispondere a una finalità concreta e agli obblighi applicabili.

La valutazione continua è utile quando aiuta a spiegare che cosa è cambiato, quale condizione non ha funzionato e quale decisione operativa serve. Non sostituisce i controlli deterministici, i test prima della distribuzione, la supervisione umana per le azioni sensibili o la revisione delle modifiche al sistema. L’obiettivo è individuare segnali utili con limiti espliciti e rispondere prima che un comportamento inaccettabile abbia un impatto più ampio.

Lista di controllo operativa

DomandaCriterio pratico
Il compito è definito?Sono specificati un risultato verificabile, i casi limite e le condizioni per astenersi o inoltrare il caso.
Si valuta il processo oltre al testo?La traccia consente di esaminare le fonti pertinenti, gli strumenti, i parametri e le approvazioni.
La telemetria è protetta?I dati sono ridotti al minimo e sono definiti accessi, usi e periodi di conservazione.
Il valutatore è stato confrontato con riferimenti?I suoi errori sono confrontati con decisioni umane o riferimenti verificati.
L’avviso porta a un’azione?Sono previsti un responsabile, un percorso di revisione e un’opzione per limitare o fermare il flusso.
Le modifiche vengono verificate?I test di regressione vengono eseguiti con versioni e criteri registrati.
08

Continua a esplorare

Fonti consultate

03

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.

Proponi una correzione