Uso primario dichiarato o dedotto con cautela dalla documentazione ufficiale.
Qwen3-30B-A3B MoE-Output SAE
Tre autoencoder TopK di ByteDance Seed analizzano le uscite dei blocchi MoE di Qwen3-30B-A3B. Pesi e studio tecnico risalgono al 5 novembre. Ogni strato ha un checkpoint con 1.048.576 caratteristiche latenti, di cui al massimo 100 sono selezionate per token.
L'essenziale
Capacità di input massima quando pubblicata dalla fonte.
Limite massimo di generazione documentato.
Canali di disponibilità verificati.
Famiglia funzionale principale e specialità verificate.
Condizioni dichiarate per API, pesi o distribuzione autonoma.
Limiti e integrazione
| ID API | ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE |
|---|---|
| Tipo di modello | Interpretabilità |
| Modalità di accesso | Pesi aperti |
| Licenza | Apache 2.0 |
| Distribuzione | Hosting autonomo |
| Rilascio | 05 NOV 2026 |
| Cutoff della conoscenza | Non pubblicato |
| Entrata | Attivazioni interne |
| Uscita | Caratteristiche latenti · Attivazioni ricostruite |
| Finestra di contesto | Strati 4, 30 e 46 di Qwen3-30B-A3B |
| rendimento massimo | 100 caratteristiche attive per token e per autoencoder |
| Ragionamento | Non pubblicato |
| Strumenti pubblicati | |
| Uscite strutturate | Non pubblicato |
| Elaborazione batch | Non pubblicato |
| Cache dei prompt | Non pubblicato |
| Fine-tuning | Non pubblicato |
| Piattaforme verificate | Hugging Face · PyTorch |
Studiare quali esperti contribuiscono a determinate caratteristiche e quantificare l’errore di ricostruzione delle attivazioni. I tre checkpoint per strato condividono una scheda. Non sostituiscono il modello base, non generano testo e non forniscono embedding di documenti.
Ogni file FP32 occupa circa 17,2 GB, oltre alla memoria del modello base. Gli strati non condividono uno spazio latente intercambiabile. Input lunghi possono richiedere segmentazione. Le attribuzioni osservate non dimostrano da sole la causalità.
Cosa può fare
Orientamento
Studiare quali esperti contribuiscono a determinate caratteristiche e quantificare l’errore di ricostruzione delle attivazioni. I tre checkpoint per strato condividono una scheda. Non sostituiscono il modello base, non generano testo e non forniscono embedding di documenti.
Contesto
Strati 4, 30 e 46 di Qwen3-30B-A3B · 100 caratteristiche attive per token e per autoencoder
Strumenti e integrazione
Non pubblicato
Accesso
Hugging Face · checkpoint scaricabile
Costo documentato
| Concetto | Di valore | Unità/condizione |
|---|---|---|
| Input standard | Nessuna tariffa API ufficiale pubblicata | Tariffa API standard |
| Input in cache | Non pubblicato | Lettura di prefissi riutilizzati |
| Scrittura o archiviazione della cache | Non pubblicato | La condizione varia in base al fornitore |
| Output standard | Costo dell’infrastruttura propria | Può includere token di ragionamento |
| Input batch | Non pubblicato | Elaborazione asincrona |
| Output batch | Non pubblicato | Elaborazione asincrona |
Non è stata verificata un’API commerciale ospitata per questo checkpoint. Scaricare i pesi non copre archiviazione, acceleratori, memoria o gestione.
i I prezzi cambiano e possono dipendere dal livello, dalla regione o dalla durata del contesto. Controlla la fonte prima di prendere una decisione.
Come leggere i risultati
ByteDance riporta il 12,6%, 25,1% e 7,6% di varianza non spiegata per gli strati 4, 30 e 46. Un valore inferiore indica una ricostruzione migliore in quella prova. Non sono tassi di successo né classifiche di modelli di chat. Inferama non ha riprodotto le misure.
| Benchmark | Risultato | Metrica | Fonte |
|---|---|---|---|
| Qwen3 MoE SAE FVU (layer 4) | 12,6 % | Più basso è meglio | Vedi fonte ↗ |
| Qwen3 MoE SAE FVU (layer 30) | 25,1 % | Più basso è meglio | Vedi fonte ↗ |
| Qwen3 MoE SAE FVU (layer 46) | 7,6 % | Più basso è meglio | Vedi fonte ↗ |
Inferama evidenzia un "miglior risultato" solo quando la metrica, il set di test, la configurazione e la data consentono un confronto equivalente. I dati del fornitore sono presentati come affermazioni provenienti dalla propria fonte.
Cronologia
Qwen3-30B-A3B MoE-Output SAE
Versione inclusa nel catalogo verificato di Inferama.