B
BYTEDANCE SEED / ByteDance-Seed/Cross-Layer-TopK-CLT

Cross-Layer TopK CLT

Transcodificatore sparso di ByteDance Seed per studiare Qwen3-8B-Base. Legge il flusso residuo prima degli MLP e approssima le loro uscite tramite caratteristiche tra strati. La revisione verificata contiene tutti i 36 encoder e 36 decoder; il caricamento si è concluso il 5 novembre.

01 / RIEPILOGO

L'essenziale

ORIENTAMENTOTranscodificatore tra strati

Uso primario dichiarato o dedotto con cautela dalla documentazione ufficiale.

CONTESTO36 strati e 32.768 caratteristiche per strato

Capacità di input massima quando pubblicata dalla fonte.

USCITA360 caratteristiche attive per token tra tutti gli strati

Limite massimo di generazione documentato.

ACCESSOHugging Face · checkpoint scaricabile

Canali di disponibilità verificati.

TIPO DI MODELLOInterpretabilità

Famiglia funzionale principale e specialità verificate.

LICENZAApache 2.0

Condizioni dichiarate per API, pesi o distribuzione autonoma.

02 / SCHEDA TECNICA

Limiti e integrazione

ID APIByteDance-Seed/Cross-Layer-TopK-CLT
Tipo di modelloInterpretabilità
Modalità di accessoPesi aperti
LicenzaApache 2.0
DistribuzioneHosting autonomo
Rilascio05 NOV 2026
Cutoff della conoscenzaNon pubblicato
EntrataAttivazioni interne
UscitaCaratteristiche latenti · Attivazioni ricostruite
Finestra di contesto36 strati e 32.768 caratteristiche per strato
rendimento massimo360 caratteristiche attive per token tra tutti gli strati
RagionamentoNon pubblicato
Strumenti pubblicati
Uscite strutturateNon pubblicato
Elaborazione batchNon pubblicato
Cache dei promptNon pubblicato
Fine-tuningNon pubblicato
Piattaforme verificateHugging Face · PyTorch
SI ADATTA MEGLIO A

Analizzare attivazioni e ricostruire contributi degli strati di un modello base fisso. È un componente di ricerca: non riceve testo come API di chat, non genera risposte e le caratteristiche interne non sono embedding di ricerca.

DA MONITORARE

Il set completo occupa circa 377 GB in FP32 e contiene 94,2 miliardi di parametri. Configurazione e fattori di scala devono corrispondere alla revisione. L’esempio di sola codifica omette i decoder e non dimostra che il modello completo entri in una GPU.

03 / CAPACITÀ

Cosa può fare

01

Orientamento

Analizzare attivazioni e ricostruire contributi degli strati di un modello base fisso. È un componente di ricerca: non riceve testo come API di chat, non genera risposte e le caratteristiche interne non sono embedding di ricerca.

02

Contesto

36 strati e 32.768 caratteristiche per strato · 360 caratteristiche attive per token tra tutti gli strati

03

Strumenti e integrazione

Non pubblicato

04

Accesso

Hugging Face · checkpoint scaricabile

Modalità di input
Attivazioni interne
04 / PREZZI

Costo documentato

ConcettoDi valoreUnità/condizione
Input standardNessuna tariffa API ufficiale pubblicataTariffa API standard
Input in cacheNon pubblicatoLettura di prefissi riutilizzati
Scrittura o archiviazione della cacheNon pubblicatoLa condizione varia in base al fornitore
Output standardCosto dell’infrastruttura propriaPuò includere token di ragionamento
Input batchNon pubblicatoElaborazione asincrona
Output batchNon pubblicatoElaborazione asincrona

Non è stata verificata un’API commerciale ospitata per questo checkpoint. Scaricare i pesi non copre archiviazione, acceleratori, memoria o gestione.

i I prezzi cambiano e possono dipendere dal livello, dalla regione o dalla durata del contesto. Controlla la fonte prima di prendere una decisione.

05 / VALUTAZIONI

Come leggere i risultati

“

La scheda documenta codifica e ricostruzione senza punteggi numerici verificati per il checkpoint. Una valutazione separata deve fissare il modello base e misurare errore di ricostruzione e sensibilità all’ablazione. Dimensione dei file e sparsità non misurano la qualità.

i Nessun punteggio numerico verificato per la versione esatta.

Inferama evidenzia un "miglior risultato" solo quando la metrica, il set di test, la configurazione e la data consentono un confronto equivalente. I dati del fornitore sono presentati come affermazioni provenienti dalla propria fonte.

06 / VERSIONI

Cronologia

Cross-Layer TopK CLT

Versione inclusa nel catalogo verificato di Inferama.

07 / FONTI

Tracciabilità