In un esperimento, gli analisti hanno seguito l’orientamento assegnato al loro agente IA nell’86% di quattro decisioni

Che cosa ha misurato l’esperimento

Anthropic ha esaminato se i professionisti che lavorano con un agente di intelligenza artificiale mantengano il controllo delle decisioni metodologiche quando esiste più di un’opzione ragionevole. Lo studio si è concentrato su quattro scelte analitiche, capaci di modificare la stima dell’effetto di un programma agricolo, e su una raccomandazione finale: estenderlo oppure no.

Il dato principale riguarda la coincidenza: nel complesso, in quattro decisioni analitiche, i 50 partecipanti che hanno usato l’agente hanno scelto l’opzione verso cui era stato orientato. La percentuale riportata è dell’86%. Non significa che l’86% degli esperti segua sempre l’IA, né che ogni scelta coincidente sia stata necessariamente causata dall’agente. La pubblicazione descrive i risultati di un compito specifico, nel quale le preferenze sono state assegnate sperimentalmente.

Come è stato condotto lo studio

Gli autori hanno reclutato 61 analisti professionisti con esperienza nell’inferenza causale osservazionale e nell’uso abituale di Python o R. Undici hanno scelto di non usare l’agente e sono stati esclusi dall’analisi principale, che riguarda quindi gli altri 50. Il compito presentava un caso fittizio: decidere se una cooperativa agricola dovesse estendere un programma di consulenza per i propri membri.

Per ciascuna delle quattro decisioni metodologiche, un’assegnazione casuale, determinata dal lancio di una moneta, stabiliva quale delle due opzioni ragionevoli l’agente avrebbe favorito. Le scelte riguardavano come misurare la produttività, quale metodo di confronto usare, quali aziende agricole includere nell’analisi e come ponderare i risultati. L’agente riceveva istruzioni di sostenere la propria preferenza con argomenti onesti, cambiare idea se le prove fossero state decisive e non travisare i dati.

La preferenza non è stata lasciata al comportamento abituale del modello: è stata deliberatamente rafforzata per consentire di misurarne l’effetto. Gli analisti non conoscevano l’assegnazione. Hanno lavorato in una versione web di VS Code con Claude Code e Claude Opus 4.8; la durata mediana del compito è stata di 65 minuti.

I risultati osservati

La coincidenza con l’orientamento dell’agente è variata tra le quattro scelte: 92% per la misura dell’esito, 82% per il metodo di confronto, 81% per la popolazione inclusa e 90% per la ponderazione. Nel complesso, il valore riportato è stato dell’86%. Queste percentuali riguardano le scelte dei partecipanti che hanno utilizzato l’agente in questo compito, non osservazioni sull’uso professionale in settori diversi.

La raccomandazione finale ha mostrato una differenza più contenuta: il 54% ha consigliato di estendere il programma quando l’agente era orientato a favore dell’estensione, contro il 36% quando sosteneva l’opzione contraria. Tuttavia, le decisioni metodologiche precedenti potevano modificare la stima dell’effetto e, di conseguenza, contribuire alla raccomandazione. Un modello statistico basato soltanto sui quattro orientamenti assegnati ha previsto correttamente l’82% delle raccomandazioni, rispetto al 61% ottenuto scegliendo sempre la raccomandazione più frequente. Questo risultato riguarda l’analisi descritta dagli autori e non dimostra che lo stesso schema si verifichi al di fuori del compito.

In 38 casi, gli analisti avevano espresso una preferenza prima che l’agente presentasse la propria. Quando l’agente non era d’accordo, gli analisti hanno cambiato opzione nel 60% dei casi; quando era d’accordo, il cambiamento si è verificato nel 6%. La differenza stimata è stata di 54 punti percentuali, ma si basa su pochi casi e il relativo intervallo di confidenza al 95% è ampio: da 24 a 82 punti. Inoltre, gli autori avvertono che chi aveva espresso una preferenza iniziale potrebbe essere diverso da chi non lo aveva fatto. Perciò, questo confronto non identifica da solo una causa.

Argomenti ripresi e percezione della paternità

Dopo il compito, il 77% degli analisti ha ripetuto l’argomento dell’agente in almeno una risposta sulle proprie scelte. Il 15% dei partecipanti ha indicato l’agente come fonte in una risposta. Nel rispondere, non potevano consultare nuovamente la conversazione. Questi dati mostrano una corrispondenza tra gli argomenti usati dall’agente e le spiegazioni successive, ma da soli non consentono di stabilire perché ciascuno abbia scelto una determinata opzione o se ricordasse consapevolmente l’origine dell’argomento.

La percezione della paternità non rifletteva necessariamente la coincidenza osservata: il 52% ha dichiarato che la raccomandazione finale era più propria che dell’agente. In media, anche chi la considerava propria aveva mostrato uno spostamento verso gli orientamenti assegnati. La fiducia media nella raccomandazione era simile tra chi aveva seguito tutti e quattro gli orientamenti analitici e gli altri partecipanti: rispettivamente 71 e 73 su una scala da 0 a 100.

Gli autori indicano come possibile spiegazione il fatto che alcune persone formulino la propria opinione mentre valutano le alternative, invece di arrivare con una preferenza già definita. Se l’agente argomenta con chiarezza a favore di un’opzione e sviluppa poco l’altra, può occupare quello spazio decisionale senza che l’analista si renda conto del suo contributo. Lo studio documenta uno schema compatibile con questa preoccupazione, ma non dimostra che spieghi tutte le scelte osservate.

Che cosa si può concludere e quali sono i limiti

L’assegnazione casuale dell’orientamento dell’agente permette di confrontare le scelte di partecipanti esposti a preferenze diverse e di osservare un effetto medio nel contesto progettato. La pubblicazione, tuttavia, non consente di stabilire quanto l’agente abbia influenzato ciascuna persona: le preferenze individuali non sono state registrate in modo completo prima che l’agente esprimesse la propria posizione. Non è stata nemmeno misurata l’intensità con cui gli analisti preferivano ciascuna alternativa.

Le prove provengono da uno studio originale presentato dagli autori nella pagina di ricerca di Anthropic. La documentazione consultata non stabilisce che il lavoro sia stato sottoposto a revisione paritaria o replicato indipendentemente. I valori vanno quindi intesi come risultati riportati da questo studio, non come consenso scientifico. La fonte secondaria disponibile riassume l’esperimento, ma non fornisce una verifica indipendente dei dati.

La possibilità di generalizzare è limitata: è stato studiato un compito fittizio di analisi agricola, con un solo modello e professionisti esperti di inferenza causale ma non di agricoltura. Inoltre, gli autori hanno rafforzato le preferenze dell’agente affinché fossero esplicite e coerenti. Nel lavoro quotidiano, le preferenze del modello potrebbero essere meno marcate, le decisioni potrebbero essere diverse e gli esperti potrebbero avere maggiori conoscenze del settore o preferenze personali più solide.

Lo studio ha anche confrontato chi ha utilizzato l’agente con gli 11 partecipanti che non lo hanno fatto. Sei di questi ultimi hanno commesso errori metodologici gravi, rispetto a tre dei 50 che hanno usato l’agente; la durata mediana del compito è stata di 90 minuti contro 65. I gruppi, però, non erano comparabili: in media, chi ha lavorato senza IA aveva meno esperienza. Il confronto non dimostra che l’uso dell’IA abbia causato meno errori o accelerato il lavoro.

Implicazioni pratiche per il lavoro con gli agenti

La questione pratica non riguarda soltanto l’individuazione degli errori di calcolo. In molte attività professionali esistono decisioni ragionevoli senza una risposta unica: che cosa misurare, quale popolazione analizzare o come ponderare i risultati. Un agente può produrre una risposta tecnicamente coerente e, allo stesso tempo, orientare scelte che dipendono da criteri o valori umani. Esaminare soltanto il risultato finale potrebbe non bastare a individuare queste decisioni, se entrambe le alternative sono difendibili.

Per preservare un giudizio umano informato, il gruppo di lavoro può registrare quale decisione prenderebbe e per quali motivi prima di ricevere la raccomandazione dell’agente, quando è possibile. In seguito può confrontare la propria posizione con gli argomenti del sistema e chiedergli di presentare il caso migliore per ciascuna alternativa, esplicitando le ipotesi e gli effetti che cambiano a seconda della scelta. Sono misure di processo: lo studio non le ha valutate come interventi e non dimostra che eliminino l’influenza.

Quando un compito comprende molte decisioni aperte, richiedere una revisione approfondita di ciascuna può essere costoso e poco pratico. Può essere più utile individuare in anticipo le scelte capaci di modificare materialmente la conclusione, documentare le decisioni principali e riservare una revisione indipendente a questi aspetti. Anche l’organizzazione deve decidere quali compiti può delegare e quali richiedono un giudizio umano autonomo, senza presumere che una firma finale costituisca automaticamente una verifica indipendente.

Continua a esplorare

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.