Versione esatta
Verifica l’identificatore del modello, la data e se l’alias può cambiare.
BENCHMARK DOCUMENTATO
TIME CRPS
Risultati pubblicati e condizioni dichiarate dalle fonti. I dati sono confrontabili solo quando versione, configurazione, metrica e data coincidono.
01 / RISULTATI
Misurazioni pubblicate
| Modello | Organizzazione | Risultato | Metrica | Condizioni |
|---|---|---|---|---|
| Timestral 5M | Mistral AI | 0,545 | Più basso è meglio | Metriche dichiarate da Mistral per ogni checkpoint, non riprodotte da Inferama. MASE e CRPS: valori inferiori sono migliori; skill score fev-bench: valori superiori sono migliori. Non sono percentuali di accuratezza né test di conversazione. Il rapporto tecnico è ancora in attesa. |
| Timestral 28M | Mistral AI | 0,534 | Più basso è meglio | Metriche dichiarate da Mistral per ogni checkpoint, non riprodotte da Inferama. MASE e CRPS: valori inferiori sono migliori; skill score fev-bench: valori superiori sono migliori. Non sono percentuali di accuratezza né test di conversazione. Il rapporto tecnico è ancora in attesa. |
| Timestral 123M | Mistral AI | 0,525 | Più basso è meglio | Metriche dichiarate da Mistral per ogni checkpoint, non riprodotte da Inferama. MASE e CRPS: valori inferiori sono migliori; skill score fev-bench: valori superiori sono migliori. Non sono percentuali di accuratezza né test di conversazione. Il rapporto tecnico è ancora in attesa. |
| Timestral 209M | Mistral AI | 0,522 | Più basso è meglio | Metriche dichiarate da Mistral per ogni checkpoint, non riprodotte da Inferama. MASE e CRPS: valori inferiori sono migliori; skill score fev-bench: valori superiori sono migliori. Non sono percentuali di accuratezza né test di conversazione. Il rapporto tecnico è ancora in attesa. |
02 / INTERPRETAZIONE
Prima di confrontare
Configurazione equivalente
Verifica strumenti, sforzo, numero di tentativi, prompt e budget di inferenza.
Trasferimento al tuo caso
Convalida il risultato con attività, lingue, formati ed errori rappresentativi del tuo prodotto.
03 / METODO
Dal benchmark a una decisione riproducibile
Un benchmark pubblico orienta, ma non sostituisce una valutazione con i tuoi dati, strumenti, budget e tolleranza all'errore.
Identifica la versione esatta
Un alias mobile e uno snapshot possono produrre risultati diversi. Registra modello, data e fornitore.
Ricostruisci le condizioni
Prompt, ragionamento, strumenti, numero di tentativi e budget devono essere equivalenti per poter confrontare.
Cerca l'incertezza
Una piccola differenza può scomparire tra un'esecuzione e l'altra. Conserva campioni, dispersione ed errori, non solo la media.
Verifica il trasferimento
Convalida se il miglioramento si mantiene in lingue, formati e casi reali vicini al tuo prodotto.
Una metrica è utile solo quando conosciamo l’attività, le condizioni e l’errore che conta. Il risultato inizia con la progettazione del test.
04 / FONTI