Mercor attribuisce a Claude Opus 5 un 100% in contabilità: cosa misura e cosa non dimostra

Il dato in evidenza e ciò che possiamo confermare

Un risultato attribuito a Mercor assegna a Claude Opus 5 il 100% in una valutazione di attività contabili. La descrizione disponibile, non confermata in modo indipendente, presenta la prova come una valutazione di lavoro contabile simile alle attività di chiusura mensile e confronta quel risultato con il 37% ottenuto dai partecipanti umani. La pubblicazione di Mercor, a sua volta, ha un titolo secondo cui l’intelligenza artificiale supera ormai i contabili junior. Questi elementi consentono di identificare l’affermazione e il suo contesto generale, ma non bastano a ricostruire come sia stato ottenuto il risultato.

La distinzione è importante: una percentuale notevole, da sola, non chiarisce cosa sia stato considerato un successo, quante attività siano state valutate o quale margine d’errore fosse accettato. Nelle informazioni verificabili fornite non compaiono il numero degli esercizi, il protocollo completo, un numero sufficiente di esempi delle attività, la rubrica dettagliata o i dati necessari per ricalcolare il punteggio. Non è nemmeno stabilito se il 100% significhi che tutte le attività sono state superate, che il modello abbia raggiunto un punteggio aggregato pari a quel valore o che sia stata applicata un’altra metrica.

Anthropic dispone di una pagina ufficiale dedicata a Claude Opus 5 e di documentazione della piattaforma per questo modello. Queste fonti possono servire a identificare il modello e a consultare le informazioni ufficiali che lo riguardano, ma i dati forniti non confermano che Anthropic abbia convalidato la valutazione di Mercor. Il risultato va quindi attribuito a Mercor e non presentato come una certificazione indipendente da parte del fornitore del modello.

Cosa sappiamo della prova e cosa non è ancora chiaro

La descrizione disponibile rimanda ad attività contabili simili a quelle di una chiusura mensile. Questo colloca la valutazione in un contesto professionale riconoscibile, ma l’espressione «simili alla chiusura mensile» non identifica, da sola, le attività concrete. Sulla base delle fonti fornite, non sappiamo se fosse necessario classificare operazioni, riconciliare registrazioni, controllare scritture contabili, preparare report o svolgere una combinazione di queste attività. Non è possibile attribuire al benchmark un elenco preciso senza consultare e verificare il relativo protocollo.

Qui non sono documentate nemmeno le dimensioni del campione né le modalità con cui sono stati creati gli esercizi. È un’informazione essenziale per interpretare un risultato perfetto: completare correttamente un insieme ristretto di casi non fornisce le stesse evidenze del superamento di una batteria ampia, varia e ripetuta. Senza conoscere la selezione delle attività e i criteri di valutazione, non si può nemmeno stabilire se la prova favorisse un particolare tipo di risposta o comprendesse situazioni insolite.

Anche il confronto con le persone richiede lo stesso livello di dettaglio. Nella fonte secondaria compare il 37%, ma il materiale disponibile non specifica chi fossero i partecipanti, quanti fossero, quale esperienza avessero o se abbiano affrontato esattamente le stesse attività in condizioni equivalenti. Il titolo della pubblicazione di Mercor parla di contabili junior, ma un titolo non sostituisce la descrizione del gruppo umano né delle procedure adottate.

Cosa significa — e cosa non significa — un 100%

In senso stretto, il 100% può essere interpretato solo conoscendo la definizione della metrica e l’insieme a cui è stata applicata. Se si tratta della percentuale di attività superate, descriverebbe le prestazioni su quelle specifiche attività; se invece è un punteggio composito, occorrerebbe sapere come ne siano state aggregate le componenti. Poiché la definizione non è riportata nelle informazioni verificate che accompagnano questo articolo, è prudente mantenere la formulazione attribuita: Mercor ha comunicato un 100% nella propria valutazione.

La percentuale, inoltre, non chiarisce da sola se siano stati misurati errori gravi, errori minori, risposte incomplete o astensioni. Un sistema che riconosce di non poter risolvere un caso può comportarsi in modo più sicuro di uno che risponde con sicurezza ma sbaglia. Per confrontare i due comportamenti, però, bisogna sapere come il benchmark abbia trattato le astensioni e le diverse tipologie di errore. Qui non ci sono dati sufficienti per affermare come siano stati valutati tali comportamenti.

Un esempio ipotetico aiuta a chiarire la differenza, senza attribuirlo alla prova di Mercor: se una valutazione chiedesse di elaborare dieci documenti di routine e il sistema risolvesse tutti e dieci secondo una rubrica chiusa, il risultato descriverebbe quell’insieme. Non dimostrerebbe automaticamente che il modello possa gestire documenti incompleti, criteri contabili diversi, cambiamenti normativi o discrepanze tra registrazioni. Per sostenere conclusioni più ampie servirebbero prove progettate appositamente per questi scenari.

Una valutazione non equivale a una chiusura contabile reale

La chiusura mensile è un processo legato a una specifica organizzazione: richiede di lavorare con informazioni provenienti da diverse fonti, applicare politiche e controlli interni, risolvere differenze e lasciare una traccia che altre persone possano verificare. Questa descrizione generale non implica che tutte le aziende seguano la stessa procedura. Proprio per questa variabilità, una prova circoscritta è rappresentativa del lavoro reale solo se chiarisce quali parti riproduce, quali informazioni fornisce e quali aspetti esclude.

Le fonti disponibili non specificano se il modello abbia usato strumenti esterni, quanto tempo avesse a disposizione, quanti tentativi potesse effettuare o quale configurazione gli fosse stata assegnata. Queste condizioni possono cambiare il significato di un confronto. Non sappiamo nemmeno se il lavoro sia stato valutato automaticamente, sottoposto al giudizio di esperti o esaminato con una combinazione di metodi. Senza questi dati, non è possibile valutare la riproducibilità né escludere che le scelte di valutazione abbiano influito sul punteggio.

Anche il confronto con i professionisti richiede cautela. Un confronto utile dovrebbe specificare l’esperienza dei partecipanti, fornire loro le stesse istruzioni e gli stessi materiali del modello, stabilire limiti di tempo comparabili e chiarire quali strumenti fossero consentiti. Se le condizioni non sono equivalenti, la differenza tra le percentuali potrebbe riflettere sia le capacità dei due gruppi sia il modo in cui è stato progettato l’esercizio. Le informazioni fornite non consentono di confermare tale equivalenza.

Cosa servirebbe per valutare l’affermazione

Una replica indipendente permetterebbe di verificare se il risultato si ripete al di fuori dell’ambiente di chi ha progettato la valutazione. Per essere informativa, dovrebbe pubblicare o descrivere con sufficiente dettaglio le attività, le istruzioni, la rubrica, le dimensioni del campione e il metodo di valutazione. Sarebbe inoltre utile separare i risultati per categoria di attività e spiegare le risposte errate, parziali e le astensioni, invece di fornire soltanto una percentuale complessiva.

La prova dovrebbe identificare il modello e la sua configurazione, oltre a documentare gli strumenti disponibili, il budget di esecuzione e il numero di tentativi. Il confronto con gli esseri umani dovrebbe descrivere i partecipanti e applicare condizioni ragionevolmente equivalenti. Non si tratta di presumere che ogni prova debba riprodurre un ambiente lavorativo completo, ma di dichiarare chiaramente a quale domanda risponde e a quali invece non può rispondere.

Se questi dati verranno pubblicati, lettori e specialisti potranno distinguere un miglioramento in attività circoscritte da una capacità più ampia di supportare i processi contabili. Fino ad allora, ciò che si può confermare è più limitato: Mercor ha comunicato un punteggio del 100% per Claude Opus 5 in una valutazione descritta come simile alle attività di chiusura mensile, mentre una fonte secondaria ha riportato il 37% per i partecipanti umani. Il materiale verificato qui non consente di controllare il calcolo né di concludere che il modello abbia superato i contabili in condizioni lavorative generali.

Continua a esplorare

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.