BENCHMARK DOCUMENTATO

DSpine Qwen3.8-27B · SWE-bench Pro throughput

Risultati pubblicati e condizioni dichiarate dalle fonti. I dati sono confrontabili solo quando versione, configurazione, metrica e data coincidono.

01 / RISULTATI

Misurazioni pubblicate

Modello	Organizzazione	Risultato	Metrica	Condizioni
DSpine for Qwen3.8-27B	Tencent	713,41	Token di output al secondo	Ragionamento low, campionamento con temperatura 1, top_p 0,95 e top_k 20, concorrenza otto e cache dei prefissi. Venti conversazioni per sottoinsieme, con riproduzione dei prefissi di decisioni sugli strumenti. Il riferimento senza speculazione ottiene 241,86 token/s e il rapporto dichiarato è 2,95 volte. L’output totale viene diviso per l’intero tempo concorrente: non è velocità per utente, tasso di risoluzione o valutazione indipendente.

02 / INTERPRETAZIONE

Verifica l’identificatore del modello, la data e se l’alias può cambiare.

Verifica strumenti, sforzo, numero di tentativi, prompt e budget di inferenza.

Convalida il risultato con attività, lingue, formati ed errori rappresentativi del tuo prodotto.

03 / METODO

Un benchmark pubblico orienta, ma non sostituisce una valutazione con i tuoi dati, strumenti, budget e tolleranza all'errore.

Un alias mobile e uno snapshot possono produrre risultati diversi. Registra modello, data e fornitore.

Prompt, ragionamento, strumenti, numero di tentativi e budget devono essere equivalenti per poter confrontare.

Una piccola differenza può scomparire tra un'esecuzione e l'altra. Conserva campioni, dispersione ed errori, non solo la media.

Convalida se il miglioramento si mantiene in lingue, formati e casi reali vicini al tuo prodotto.

Una metrica è utile solo quando conosciamo l’attività, le condizioni e l’errore che conta. Il risultato inizia con la progettazione del test.

04 / FONTI