BENCHMARK DOCUMENTATO

MMLU-Pro (Hy4 Base 5-shot)

Risultati pubblicati e condizioni dichiarate dalle fonti. I dati sono confrontabili solo quando versione, configurazione, metrica e data coincidono.

01 / RISULTATI

Misurazioni pubblicate

ModelloOrganizzazioneRisultatoMetricaCondizioni
Tencent Hy4 BaseTencent73,9 %Accuratezza macro · 5-shotRisultati del produttore; non riprodotti da Inferama.
Tencent Hy4 Flash BaseTencent71,1%Accuratezza macro · 5-shotRisultato del produttore per Hy4 Flash Base con cinque esempi. Non trasferire all’assistente né confrontare senza conservare il protocollo.
02 / INTERPRETAZIONE

Prima di confrontare

01

Versione esatta

Verifica l’identificatore del modello, la data e se l’alias può cambiare.

02

Configurazione equivalente

Verifica strumenti, sforzo, numero di tentativi, prompt e budget di inferenza.

03

Trasferimento al tuo caso

Convalida il risultato con attività, lingue, formati ed errori rappresentativi del tuo prodotto.

03 / METODO

Dal benchmark a una decisione riproducibile

Un benchmark pubblico orienta, ma non sostituisce una valutazione con i tuoi dati, strumenti, budget e tolleranza all'errore.

01

Identifica la versione esatta

Un alias mobile e uno snapshot possono produrre risultati diversi. Registra modello, data e fornitore.

02

Ricostruisci le condizioni

Prompt, ragionamento, strumenti, numero di tentativi e budget devono essere equivalenti per poter confrontare.

03

Cerca l'incertezza

Una piccola differenza può scomparire tra un'esecuzione e l'altra. Conserva campioni, dispersione ed errori, non solo la media.

04

Verifica il trasferimento

Convalida se il miglioramento si mantiene in lingue, formati e casi reali vicini al tuo prodotto.

Una metrica è utile solo quando conosciamo l’attività, le condizioni e l’errore che conta. Il risultato inizia con la progettazione del test.

04 / FONTI

Tracciabilità