Versione esatta
Verifica l’identificatore del modello, la data e se l’alias può cambiare.
BENCHMARK DOCUMENTATO
Agents' Last Exam
Risultati pubblicati e condizioni dichiarate dalle fonti. I dati sono confrontabili solo quando versione, configurazione, metrica e data coincidono.
01 / RISULTATI
Misurazioni pubblicate
| Modello | Organizzazione | Risultato | Metrica | Condizioni |
|---|---|---|---|---|
| GPT‑5.6 Sol | OpenAI | 52,7 % | Accuratezza | Tabella ufficiale di GPT‑5.6. |
| GPT‑5.6 Terra | OpenAI | 50,4 % | Accuratezza | Tabella ufficiale di GPT‑5.6. |
| GPT‑5.6 Luna | OpenAI | 50,3 % | Accuratezza | Tabella ufficiale di GPT‑5.6. |
02 / INTERPRETAZIONE
Prima di confrontare
Configurazione equivalente
Verifica strumenti, sforzo, numero di tentativi, prompt e budget di inferenza.
Trasferimento al tuo caso
Convalida il risultato con attività, lingue, formati ed errori rappresentativi del tuo prodotto.
03 / METODO
Dal benchmark a una decisione riproducibile
Un benchmark pubblico orienta, ma non sostituisce una valutazione con i tuoi dati, strumenti, budget e tolleranza all'errore.
Identifica la versione esatta
Un alias mobile e uno snapshot possono produrre risultati diversi. Registra modello, data e fornitore.
Ricostruisci le condizioni
Prompt, ragionamento, strumenti, numero di tentativi e budget devono essere equivalenti per poter confrontare.
Cerca l'incertezza
Una piccola differenza può scomparire tra un'esecuzione e l'altra. Conserva campioni, dispersione ed errori, non solo la media.
Verifica il trasferimento
Convalida se il miglioramento si mantiene in lingue, formati e casi reali vicini al tuo prodotto.
Una metrica è utile solo quando conosciamo l’attività, le condizioni e l’errore che conta. Il risultato inizia con la progettazione del test.
ANALISI
Analisi correlate
AutomationBench: cosa dimostra un agente che porta un flusso aziendale allo stato corretto — e cosa non dimostra
AutomationBench valuta se un agente riesce a completare flussi di lavoro tra applicazioni SaaS simulate e a portarli a uno stato finale verificabile. Questa guida spiega che cosa significa questa evidenza, come leggere le metriche e quali verifiche aggiuntive servono prima di estendere un risultato a un'azienda reale.
22 set 2026 ↗
Agents’ Last Exam: che cosa misura un agente per il lavoro reale e perché il suo tasso di successo non equivale ad «automatizzare un lavoro»
Agents’ Last Exam valuta agenti su attività professionali svolte in ambienti di sistema operativo e con risultati verificabili. Il suo progetto è utile per studiare l’esecuzione di flussi di lavoro, ma una percentuale aggregata di successo non dimostra che un’occupazione possa essere automatizzata. Per interpretarla servono dettagli sulle attività, sull’ambiente, sull’harness, sul modello, sugli strumenti, sul budget e sulla versione valutata.
22 set 2026 ↗04 / FONTI