ByteDance Seed publie les poids complets de Cross-Layer TopK CLT pour Qwen3-8B-Base
Image générée par l’équipe éditoriale d’Inferama
01

Les poids complets sont disponibles

ByteDance Seed a publié dans son dépôt public les poids complets de Cross-Layer TopK CLT, un modèle d’interprétabilité conçu pour Qwen3-8B-Base. L’arborescence du dépôt comprend les 36 fichiers d’encodage (W_enc) et les 36 fichiers de décodage (W_dec), ainsi que les facteurs de normalisation et le fichier de configuration.

Les fichiers ont été mis en ligne entre la fin octobre et le début novembre 2026, et la révision vérifiée était complète le 5 novembre. L’ensemble occupe 377 Go en FP32 et compte 94,2 milliards de paramètres. La disponibilité des encodeurs et des décodeurs permet d’utiliser le transcodeur pour encoder les activations ou tenter de reconstruire les sorties des MLP, sans s’appuyer sur une version partielle des poids.

Composants du dépôt Cross-Layer TopK CLT

Principaux fichiers nécessaires à l’exécution du transcodeur.

FichierContenuTaille approximative
W_enc_{l}.safetensorsEncodeur de la couche l : [32768, 4096]537 Mo par fichier
W_dec_{l}.safetensorsDécodeur de la couche l : [32768, 36-l, 4096]De 2,68 à 19,3 Go
W_dec_norm.safetensorsNormes des colonnes du décodeur4,72 Mo
factors.safetensorsNormes moyennes des activations (resid_mid, mlp_out)Faible
02

Architecture et fonctionnement

Le transcodeur repose sur des traits latents partagés entre les couches. Chacune des 36 couches de Qwen3-8B-Base possède 32 768 latents. Ceux-ci lisent le flux résiduel juste avant la normalisation post-attention (resid_mid) et contribuent aux sorties des MLP de cette couche et de toutes les couches suivantes.

L’encodage applique une fonction ReLU à la projection de resid_mid par l’encodeur correspondant. Le système attribue ensuite à chaque latent un score obtenu en multipliant son activation par la norme de sa colonne de décodage. Il sélectionne globalement 360 traits par token — 36 couches multipliées par k=10 — parmi l’ensemble des couches. Cette sélection produit une représentation parcimonieuse ; elle ne constitue pas, à elle seule, une mesure de fidélité ou de qualité.

03

Calcul et conditions d’exécution

L’utilisation de l’ensemble complet demande des ressources de calcul et de stockage importantes. Le transcodeur a été entraîné avec des activations en FP32 ; la démonstration fournie charge donc également Qwen3-8B-Base en FP32. La taille totale des fichiers, environ 377 Go, implique de prévoir suffisamment d’espace de stockage. La mémoire nécessaire dépend aussi de la tâche, de la configuration et de la manière dont les poids sont répartis.

Il est possible d’encoder les activations sans reconstruire les sorties des MLP en excluant les fichiers de décodage. La démonstration indique qu’une seule GPU de 80 Go peut suffire à cette configuration d’encodage, mais ce cas ne signifie pas que le checkpoint complet tient sur une seule carte. Pour décoder, les latents sont répartis entre plusieurs GPU dans l’exemple fourni ; le nombre requis dépend de l’équipement et des choix d’exécution.

Le code d’exemple utilise des hooks sur resid_mid et mlp_out dans le modèle de base. Il écarte les tokens dont la norme dépasse le seuil défini pendant l’entraînement, puis compare les scores des latents entre couches. Ce traitement fait partie de la méthode décrite par le dépôt : il ne garantit ni la qualité de la reconstruction ni le comportement sur d’autres modèles ou configurations.

Étapes d’encodage et de reconstruction

Déroulement technique de la démonstration sur une phrase d’entrée.

  1. 01Télécharger le checkpoint complet, ou seulement les encodeurs si l’objectif se limite à l’encodage.
  2. 02Charger Qwen3-8B-Base en FP32 et enregistrer des hooks sur resid_mid et mlp_out.
  3. 03Calculer les activations latentes avec ReLU(W_enc · x).
  4. 04Sélectionner globalement les 360 latents ayant les meilleurs scores (activation × norme du décodeur).
  5. 05Pour reconstruire mlp_out, additionner les contributions des latents actifs de chaque couche.
04

Licence et données d’entraînement

Les poids et le code de Cross-Layer TopK CLT sont distribués sous Apache License 2.0. La licence autorise notamment la reproduction, la modification, la distribution et l’usage commercial, sous réserve de ses conditions : fournir une copie de la licence, conserver les mentions pertinentes et signaler les fichiers modifiés. Elle ne dispense pas de respecter les obligations attachées aux données utilisées ni les autres règles applicables.

Le transcodeur a été entraîné sur Dolma 3, Dolci-Think et Dolci-Instruct, dans une proportion de 5:2:1 en nombre de tokens, soit environ 3,4 milliards de tokens au total. La fiche du dépôt indique que ces jeux de données sont sous licence ODC-BY. La licence des poids et du code ne doit donc pas être confondue avec celle des données d’entraînement : chaque élément conserve ses propres conditions d’utilisation.

05

Évaluer les limites du modèle

La documentation décrit la procédure d’encodage et de reconstruction, mais ne fournit pas de score vérifié pour la qualité de l’approximation de ce checkpoint. Pour évaluer son utilité, il faut mesurer l’erreur de reconstruction de mlp_out dans les conditions visées et examiner la sensibilité à l’ablation de traits. La taille des fichiers et la parcimonie ne sont pas des indicateurs de qualité : elles décrivent respectivement les ressources requises et la structure de la représentation.

La démonstration écarte les tokens dont la norme de resid_mid ou de mlp_out atteint 20 fois la norme moyenne correspondante d’une couche, comme pendant l’entraînement. Le code indique que ce cas concerne en pratique le premier token de l’exemple. Cette règle est une condition du traitement décrit, et non une garantie que les activations atypiques seront toujours gérées de manière adéquate dans d’autres textes ou configurations.

L’exemple ci-dessous illustre la sortie produite pour une phrase codée en dur dans la démonstration. Il montre un token rejeté comme valeur aberrante et quelques activations latentes du token suivant ; il ne constitue pas une évaluation générale de la fidélité du transcodeur. Les identifiants de latents et les activations affichés dépendent de l’entrée et du modèle utilisés.

06

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction