T
TENCENT / tencent/Qwen3.8-27B-DSpine-b16

DSpine for Qwen3.8-27B

Componente di Tencent che propone token in parallelo per accelerare l’inferenza di Qwen3.8-27B. Ha cinque livelli e circa 2,026 miliardi di parametri BF16; 27B indica il modello target. I pesi sono stati pubblicati il 7 novembre. Non è un assistente autonomo: il modello target verifica i candidati prima di accettarli nell’output.

01 / RIEPILOGO

L'essenziale

ORIENTAMENTOModello draft per decodifica speculativa

Uso primario dichiarato o dedotto con cautela dalla documentazione ufficiale.

CONTESTOFinestra scorrevole di 8.192 token nel draft

Capacità di input massima quando pubblicata dalla fonte.

USCITABlocchi di 16 token candidati; verifica del modello target

Limite massimo di generazione documentato.

ACCESSOHugging Face · richiede Qwen3.8-27B

Canali di disponibilità verificati.

TIPO DI MODELLOAccelerazione dell’inferenza

Famiglia funzionale principale e specialità verificate.

LICENZAApache 2.0

Condizioni dichiarate per API, pesi o distribuzione autonoma.

02 / SCHEDA TECNICA

Limiti e integrazione

ID APItencent/Qwen3.8-27B-DSpine-b16
Tipo di modelloAccelerazione dell’inferenza
Modalità di accessoPesi aperti
LicenzaApache 2.0
DistribuzioneHosting autonomo
Rilascio07 NOV 2026
Cutoff della conoscenzaNon pubblicato
EntrataToken e stati del modello target
UscitaToken candidati
Finestra di contestoFinestra scorrevole di 8.192 token nel draft
rendimento massimoBlocchi di 16 token candidati; verifica del modello target
RagionamentoDipende dal modello target
Strumenti pubblicatiSGLang 0.5.22 · FlashAttention 3 · ReplaySSM
Uscite strutturateNon pubblicato
Elaborazione batchNon pubblicato
Cache dei promptNon pubblicato
Fine-tuningNon pubblicato
Piattaforme verificateHugging Face · SGLang 0.5.22
SI ADATTA MEGLIO A

Integrare la decodifica speculativa in un’installazione autonoma del modello target. Il codice ufficiale usa SGLang 0.5.22, FlashAttention 3, verifica dinamica e ReplaySSM. La finestra del modello draft non è il contesto totale del servizio. L’esempio configura 131.072 token per il sistema combinato, con un massimo di otto richieste simultanee; non è un limite universale per ogni installazione.

DA MONITORARE

I risultati dipendono dal modello target, dal runtime, dalla precisione e dal carico. Misurazioni che riproducono prefissi di decisioni sugli strumenti non dimostrano che un agente svolga meglio attività reali. Al draft non si attribuiscono capacità conversazionali, visione, uso autonomo di strumenti o maggiore accuratezza. La scheda non identifica la GPU delle tabelle: non permette di promettere la stessa accelerazione su hardware diverso.

03 / CAPACITÀ

Cosa può fare

01

Orientamento

Integrare la decodifica speculativa in un’installazione autonoma del modello target. Il codice ufficiale usa SGLang 0.5.22, FlashAttention 3, verifica dinamica e ReplaySSM. La finestra del modello draft non è il contesto totale del servizio. L’esempio configura 131.072 token per il sistema combinato, con un massimo di otto richieste simultanee; non è un limite universale per ogni installazione.

02

Contesto

Finestra scorrevole di 8.192 token nel draft · Blocchi di 16 token candidati; verifica del modello target

03

Strumenti e integrazione

SGLang 0.5.22 · FlashAttention 3 · ReplaySSM

04

Accesso

Hugging Face · richiede Qwen3.8-27B

Modalità di input
Token e stati del modello target
04 / PREZZI

Costo documentato

ConcettoDi valoreUnità/condizione
Input standardNessuna tariffa API ufficiale pubblicataTariffa API standard
Input in cacheNon pubblicatoLettura di prefissi riutilizzati
Scrittura o archiviazione della cacheNon pubblicatoLa condizione varia in base al fornitore
Output standardCosto dell’infrastruttura propriaPuò includere token di ragionamento
Input batchNon pubblicatoElaborazione asincrona
Output batchNon pubblicatoElaborazione asincrona

La pubblicazione offre pesi Apache 2.0, non un’API commerciale con prezzo per token. L’esecuzione richiede anche il modello target e risorse di calcolo. Le tariffe sconosciute restano non pubblicate: non sono presentate come gratuite e il throughput non viene usato per calcolare risparmi.

i I prezzi cambiano e possono dipendere dal livello, dalla regione o dalla durata del contesto. Controlla la fonte prima di prendere una decisione.

05 / VALUTAZIONI

Come leggere i risultati

“

Tencent misura lunghezza di accettazione e throughput del sistema, non accuratezza delle risposte. Riporta 7,20 token accettati per iterazione su GSM8K a temperatura zero. Su SWE-bench Pro, con ragionamento low e concorrenza otto, indica 713,41 token/s contro 241,86 senza speculazione, un rapporto dichiarato di 2,95 volte. Il test riproduce prefissi di decisioni sugli strumenti e ammette fino a 32.768 nuovi token per richiesta. Inferama non ha riprodotto queste misurazioni.

BenchmarkRisultatoMetricaFonte
DSpine Qwen3.8-27B · GSM8K acceptance7,20Token accettati per iterazioneVedi fonte ↗
DSpine Qwen3.8-27B · SWE-bench Pro throughput713,41Token di output al secondoVedi fonte ↗

Inferama evidenzia un "miglior risultato" solo quando la metrica, il set di test, la configurazione e la data consentono un confronto equivalente. I dati del fornitore sono presentati come affermazioni provenienti dalla propria fonte.

06 / VERSIONI

Cronologia

Qwen3.8-27B-DSpine-b16

Checkpoint ausiliario pubblicato con pesi BF16; richiede il modello target.

07 / FONTI

Tracciabilità