B
BYTEDANCE SEED / ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE

Qwen3-30B-A3B MoE-Output SAE

Tre autoencoder TopK di ByteDance Seed analizzano le uscite dei blocchi MoE di Qwen3-30B-A3B. Pesi e studio tecnico risalgono al 5 novembre. Ogni strato ha un checkpoint con 1.048.576 caratteristiche latenti, di cui al massimo 100 sono selezionate per token.

01 / RIEPILOGO

L'essenziale

ORIENTAMENTOAutoencoder sparsi per strato

Uso primario dichiarato o dedotto con cautela dalla documentazione ufficiale.

CONTESTOStrati 4, 30 e 46 di Qwen3-30B-A3B

Capacità di input massima quando pubblicata dalla fonte.

USCITA100 caratteristiche attive per token e per autoencoder

Limite massimo di generazione documentato.

ACCESSOHugging Face · checkpoint scaricabile

Canali di disponibilità verificati.

TIPO DI MODELLOInterpretabilità

Famiglia funzionale principale e specialità verificate.

LICENZAApache 2.0

Condizioni dichiarate per API, pesi o distribuzione autonoma.

02 / SCHEDA TECNICA

Limiti e integrazione

ID APIByteDance-Seed/Qwen3-30B-A3B-MoE-SAE
Tipo di modelloInterpretabilità
Modalità di accessoPesi aperti
LicenzaApache 2.0
DistribuzioneHosting autonomo
Rilascio05 NOV 2026
Cutoff della conoscenzaNon pubblicato
EntrataAttivazioni interne
UscitaCaratteristiche latenti · Attivazioni ricostruite
Finestra di contestoStrati 4, 30 e 46 di Qwen3-30B-A3B
rendimento massimo100 caratteristiche attive per token e per autoencoder
RagionamentoNon pubblicato
Strumenti pubblicati
Uscite strutturateNon pubblicato
Elaborazione batchNon pubblicato
Cache dei promptNon pubblicato
Fine-tuningNon pubblicato
Piattaforme verificateHugging Face · PyTorch
SI ADATTA MEGLIO A

Studiare quali esperti contribuiscono a determinate caratteristiche e quantificare l’errore di ricostruzione delle attivazioni. I tre checkpoint per strato condividono una scheda. Non sostituiscono il modello base, non generano testo e non forniscono embedding di documenti.

DA MONITORARE

Ogni file FP32 occupa circa 17,2 GB, oltre alla memoria del modello base. Gli strati non condividono uno spazio latente intercambiabile. Input lunghi possono richiedere segmentazione. Le attribuzioni osservate non dimostrano da sole la causalità.

03 / CAPACITÀ

Cosa può fare

01

Orientamento

Studiare quali esperti contribuiscono a determinate caratteristiche e quantificare l’errore di ricostruzione delle attivazioni. I tre checkpoint per strato condividono una scheda. Non sostituiscono il modello base, non generano testo e non forniscono embedding di documenti.

02

Contesto

Strati 4, 30 e 46 di Qwen3-30B-A3B · 100 caratteristiche attive per token e per autoencoder

03

Strumenti e integrazione

Non pubblicato

04

Accesso

Hugging Face · checkpoint scaricabile

Modalità di input
Attivazioni interne
04 / PREZZI

Costo documentato

ConcettoDi valoreUnità/condizione
Input standardNessuna tariffa API ufficiale pubblicataTariffa API standard
Input in cacheNon pubblicatoLettura di prefissi riutilizzati
Scrittura o archiviazione della cacheNon pubblicatoLa condizione varia in base al fornitore
Output standardCosto dell’infrastruttura propriaPuò includere token di ragionamento
Input batchNon pubblicatoElaborazione asincrona
Output batchNon pubblicatoElaborazione asincrona

Non è stata verificata un’API commerciale ospitata per questo checkpoint. Scaricare i pesi non copre archiviazione, acceleratori, memoria o gestione.

i I prezzi cambiano e possono dipendere dal livello, dalla regione o dalla durata del contesto. Controlla la fonte prima di prendere una decisione.

05 / VALUTAZIONI

Come leggere i risultati

“

ByteDance riporta il 12,6%, 25,1% e 7,6% di varianza non spiegata per gli strati 4, 30 e 46. Un valore inferiore indica una ricostruzione migliore in quella prova. Non sono tassi di successo né classifiche di modelli di chat. Inferama non ha riprodotto le misure.

BenchmarkRisultatoMetricaFonte
Qwen3 MoE SAE FVU (layer 4)12,6 %Più basso è meglioVedi fonte ↗
Qwen3 MoE SAE FVU (layer 30)25,1 %Più basso è meglioVedi fonte ↗
Qwen3 MoE SAE FVU (layer 46)7,6 %Più basso è meglioVedi fonte ↗

Inferama evidenzia un "miglior risultato" solo quando la metrica, il set di test, la configurazione e la data consentono un confronto equivalente. I dati del fornitore sono presentati come affermazioni provenienti dalla propria fonte.

06 / VERSIONI

Cronologia

Qwen3-30B-A3B MoE-Output SAE

Versione inclusa nel catalogo verificato di Inferama.

07 / FONTI

Tracciabilità