Versione esatta
Verifica l’identificatore del modello, la data e se l’alias può cambiare.
BENCHMARK DOCUMENTATO
GPQA Diamond
Risultati pubblicati e condizioni dichiarate dalle fonti. I dati sono confrontabili solo quando versione, configurazione, metrica e data coincidono.
01 / RISULTATI
Misurazioni pubblicate
| Modello | Organizzazione | Risultato | Metrica | Condizioni |
|---|---|---|---|---|
| GPT‑6 Astra | OpenAI | 96,0 % | Accuratezza | Risultato del fornitore. |
| DeepSeek V4.1 Flash | DeepSeek | 90,9 % | Accuratezza | DeepSeek Harness, impegno max e configurazione pubblicata. |
| Qwen3‑Max Thinking | Alibaba Qwen | 92,8 % | Accuratezza | Scaling dell'inferenza pubblicato da Qwen. |
02 / INTERPRETAZIONE
Prima di confrontare
Configurazione equivalente
Verifica strumenti, sforzo, numero di tentativi, prompt e budget di inferenza.
Trasferimento al tuo caso
Convalida il risultato con attività, lingue, formati ed errori rappresentativi del tuo prodotto.
03 / METODO
Dal benchmark a una decisione riproducibile
Un benchmark pubblico orienta, ma non sostituisce una valutazione con i tuoi dati, strumenti, budget e tolleranza all'errore.
Identifica la versione esatta
Un alias mobile e uno snapshot possono produrre risultati diversi. Registra modello, data e fornitore.
Ricostruisci le condizioni
Prompt, ragionamento, strumenti, numero di tentativi e budget devono essere equivalenti per poter confrontare.
Cerca l'incertezza
Una piccola differenza può scomparire tra un'esecuzione e l'altra. Conserva campioni, dispersione ed errori, non solo la media.
Verifica il trasferimento
Convalida se il miglioramento si mantiene in lingue, formati e casi reali vicini al tuo prodotto.
Una metrica è utile solo quando conosciamo l’attività, le condizioni e l’errore che conta. Il risultato inizia con la progettazione del test.
ANALISI
Analisi correlate
DeepSeek R1 vs. DeepSeek V3.2: come scegliere tra ragionamento esplicito ed efficienza in un flusso sottoposto a revisione
Un confronto utile tra DeepSeek R1 e DeepSeek V3.2 non parte da un benchmark pubblicato, ma da un’attività propria, un corpus congelato e una definizione esplicita di errore materiale. Questo protocollo consente di misurare se la deliberazione aggiuntiva di R1 riduce errori e revisioni umane oppure se V3.2 raggiunge la medesima soglia con minore latenza, consumo e complessità.
22 set 2026 ↗
AIME 2024: cosa misura una percentuale di risposte corrette su 30 problemi e perché due risultati apparentemente uguali potrebbero non essere confrontabili
Un dato su AIME 2024 sembra semplice, ma può riassumere protocolli molto diversi. Questa guida spiega cosa rappresenta il set, come il risultato cambia in base al numero di tentativi, alla selezione delle risposte, agli strumenti e all'arnese di valutazione, e quali informazioni richiedere prima di confrontare i modelli.
22 set 2026 ↗04 / FONTI