Uso primario dichiarato o dedotto con cautela dalla documentazione ufficiale.
Cross-Layer TopK CLT
Transcodificatore sparso di ByteDance Seed per studiare Qwen3-8B-Base. Legge il flusso residuo prima degli MLP e approssima le loro uscite tramite caratteristiche tra strati. La revisione verificata contiene tutti i 36 encoder e 36 decoder; il caricamento si è concluso il 5 novembre.
L'essenziale
Capacità di input massima quando pubblicata dalla fonte.
Limite massimo di generazione documentato.
Canali di disponibilità verificati.
Famiglia funzionale principale e specialità verificate.
Condizioni dichiarate per API, pesi o distribuzione autonoma.
Limiti e integrazione
| ID API | ByteDance-Seed/Cross-Layer-TopK-CLT |
|---|---|
| Tipo di modello | Interpretabilità |
| Modalità di accesso | Pesi aperti |
| Licenza | Apache 2.0 |
| Distribuzione | Hosting autonomo |
| Rilascio | 05 NOV 2026 |
| Cutoff della conoscenza | Non pubblicato |
| Entrata | Attivazioni interne |
| Uscita | Caratteristiche latenti · Attivazioni ricostruite |
| Finestra di contesto | 36 strati e 32.768 caratteristiche per strato |
| rendimento massimo | 360 caratteristiche attive per token tra tutti gli strati |
| Ragionamento | Non pubblicato |
| Strumenti pubblicati | |
| Uscite strutturate | Non pubblicato |
| Elaborazione batch | Non pubblicato |
| Cache dei prompt | Non pubblicato |
| Fine-tuning | Non pubblicato |
| Piattaforme verificate | Hugging Face · PyTorch |
Analizzare attivazioni e ricostruire contributi degli strati di un modello base fisso. È un componente di ricerca: non riceve testo come API di chat, non genera risposte e le caratteristiche interne non sono embedding di ricerca.
Il set completo occupa circa 377 GB in FP32 e contiene 94,2 miliardi di parametri. Configurazione e fattori di scala devono corrispondere alla revisione. L’esempio di sola codifica omette i decoder e non dimostra che il modello completo entri in una GPU.
Cosa può fare
Orientamento
Analizzare attivazioni e ricostruire contributi degli strati di un modello base fisso. È un componente di ricerca: non riceve testo come API di chat, non genera risposte e le caratteristiche interne non sono embedding di ricerca.
Contesto
36 strati e 32.768 caratteristiche per strato · 360 caratteristiche attive per token tra tutti gli strati
Strumenti e integrazione
Non pubblicato
Accesso
Hugging Face · checkpoint scaricabile
Costo documentato
| Concetto | Di valore | Unità/condizione |
|---|---|---|
| Input standard | Nessuna tariffa API ufficiale pubblicata | Tariffa API standard |
| Input in cache | Non pubblicato | Lettura di prefissi riutilizzati |
| Scrittura o archiviazione della cache | Non pubblicato | La condizione varia in base al fornitore |
| Output standard | Costo dell’infrastruttura propria | Può includere token di ragionamento |
| Input batch | Non pubblicato | Elaborazione asincrona |
| Output batch | Non pubblicato | Elaborazione asincrona |
Non è stata verificata un’API commerciale ospitata per questo checkpoint. Scaricare i pesi non copre archiviazione, acceleratori, memoria o gestione.
i I prezzi cambiano e possono dipendere dal livello, dalla regione o dalla durata del contesto. Controlla la fonte prima di prendere una decisione.
Come leggere i risultati
La scheda documenta codifica e ricostruzione senza punteggi numerici verificati per il checkpoint. Una valutazione separata deve fissare il modello base e misurare errore di ricostruzione e sensibilità all’ablazione. Dimensione dei file e sparsità non misurano la qualità.
i Nessun punteggio numerico verificato per la versione esatta.
Inferama evidenzia un "miglior risultato" solo quando la metrica, il set di test, la configurazione e la data consentono un confronto equivalente. I dati del fornitore sono presentati come affermazioni provenienti dalla propria fonte.
Cronologia
Cross-Layer TopK CLT
Versione inclusa nel catalogo verificato di Inferama.