ByteDance Seed pubblica il transcoder Cross-Layer TopK CLT per Qwen3-8B-Base
Immagine generata dalla Redazione di Inferama
01

Disponibilità confermata dei pesi completi

ByteDance Seed ha reso disponibili nel repository pubblico i pesi completi del Cross-Layer TopK CLT, un modello di interpretabilità sviluppato per Qwen3-8B-Base. L'analisi della struttura del repository attesta la presenza dei 36 file di codifica (W_enc) e dei 36 di decodifica (W_dec), oltre ai fattori di normalizzazione e alla configurazione.

Il caricamento si è concluso a fine ottobre 2026, con la maggior parte dei file trasferiti tra il 3 e il 5 novembre. L'insieme complessivo richiede 377 GB in formato FP32 e comprende 94,2 miliardi di parametri. La presenza di tutti gli elementi necessari per la codifica e la ricostruzione rimuove il vincolo legato a versioni parziali o non verificate.

Componenti del repository Cross-Layer TopK CLT

Dettaglio dei file essenziali per l'esecuzione del transcoder.

FileContenutoDimensione approssimativa
W_enc_{l}.safetensorsCodificatore del layer l: [32768, 4096]537 MB per file
W_dec_{l}.safetensorsDecodificatore del layer l: [32768, 36-l, 4096]2,68 GB a 19,3 GB
W_dec_norm.safetensorsNorme delle colonne del decodificatore4,72 MB
factors.safetensorsNorme medie di attivazione (resid_mid, mlp_out)Piccolo
02

Architettura e meccanismo di funzionamento

Il transcoder opera come un sistema di tratti latenti condivisi tra i layer. Ciascuno dei 36 layer di Qwen3-8B-Base possiede 32.768 latenti che leggono il flusso residuo immediatamente prima del layer di normalizzazione post-attenzione (resid_mid) e scrivono nelle uscite dei MLP di quel layer e di tutti i layer successivi.

Il processo di codifica applica una funzione ReLU alla proiezione del flusso residuo tramite il codificatore del layer corrispondente. Successivamente, viene calcolato un punteggio per ogni latente moltiplicando la sua attivazione per la norma della sua colonna di decodifica. Il sistema conserva i 360 tratti con il punteggio più alto (36 layer × k=10) in modo congiunto tra tutti i layer, garantendo una rappresentazione dispersiva e globale dello stato interno del modello.

03

Requisiti di infrastruttura ed esecuzione

L'esecuzione del transcoder completo richiede un'infrastruttura di calcolo significativa. Il modello è stato addestrato con attivazioni in FP32, pertanto il modello base Qwen3-8B-Base deve essere eseguito anch'esso in FP32 per mantenere la coerenza numerica. Lo storage totale di 377 GB richiede un sistema con capacità di disco e memoria adeguata.

Per la codifica senza ricostruzione, è possibile escludere i file di decodifica (W_dec), riducendo il carico di memoria. In questa modalità, una singola GPU da 80 GB è sufficiente per elaborare i latenti. Per la ricostruzione completa delle uscite dei MLP, è necessario distribuire i latenti su più GPU, poiché ciascuna GPU memorizza una porzione dei 32.768 tratti di ogni layer.

Processo di codifica e ricostruzione

Passaggi tecnici per eseguire il transcoder su una frase di input.

  1. 01Scaricare il checkpoint completo o solo i codificatori in base all'obiettivo.
  2. 02Caricare Qwen3-8B-Base in FP32 e registrare gli hook su resid_mid e mlp_out.
  3. 03Calcolare le attivazioni dei latenti tramite ReLU(W_enc · x).
  4. 04Selezionare i 360 latenti con il punteggio globale più alto (attivazione × norma decodificatrice).
  5. 05Ricostruire mlp_out sommando i contributi dei latenti attivi di ogni layer.
04

Licenza e condizioni d'uso

I pesi e il codice del Cross-Layer TopK CLT sono distribuiti sotto la Apache License 2.0, con copyright di ByteDance e/o delle sue affiliate nel 2026. Questa licenza consente l'uso, la modifica e la distribuzione commerciale, a condizione che si mantengano gli avvisi di copyright e si includa una copia della licenza nelle opere derivate.

I dati di addestramento provengono da Dolma 3, Dolci-Think e Dolci-Instruct, miscelati in un rapporto di 5:2:1 per token (circa 3,4 miliardi di token). Questi set di dati sono licenziati sotto ODC-BY. La combinazione di una licenza di codice permissiva e dati aperti facilita l'integrazione del transcoder nei pipeline di interpretabilità senza restrizioni d'uso commerciale.

05

Limiti e considerazioni per la valutazione

La scheda ufficiale documenta la procedura di codifica e ricostruzione, ma non fornisce un punteggio numerico verificato della qualità dell'approssimazione. La valutazione della fedeltà del transcoder deve essere effettuata misurando l'errore di ricostruzione di mlp_out e la sensibilità all'ablazione di tratti specifici.

I token il cui resid_mid o mlp_out raggiunge 20 volte la norma media del layer vengono scartati durante l'inferenza, come avvenuto durante l'addestramento. Nella pratica, questo influisce principalmente sul primo token della sequenza. Le dimensioni dei file e il grado di dispersione dei latenti non sono metriche di qualità in sé, ma caratteristiche strutturali del modello.

06

Continua a esplorare

Fonti consultate

03

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.

Proponi una correzione