Ce qui a été publié et ce que l'étude examine
ByteDance Seed a publié trois auto-encodeurs sparses (SAE) entraînés sur la sortie des blocs de mélange d'experts (MoE) de Qwen3-30B-A3B. Chaque auto-encodeur correspond à une couche spécifique : la 4, la 30 ou la 46. Les poids sont organisés par couche et peuvent être téléchargés sous forme de fichiers indépendants.
Le travail associé, intitulé « SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization », a été soumis à arXiv le 5 novembre 2026 en tant que version 1. Il s'agit d'un préprint, ce qui ne constitue pas une preuve que l'article ait passé une révision par les pairs. L'étude examine comment les contributions des experts du modèle se relient aux traits latents interprétables.
Un modèle MoE n'active que certains de ses experts pour traiter chaque jeton. Compter le nombre d'activations de chaque expert peut révéler des motifs larges, mais n'indique pas à lui seul quelle partie de la représentation chaque expert apporte. La méthode de l'article analyse la sortie combinée du bloc et décompose mathématiquement la pré-activation de chaque trait du SAE entre les experts actifs.
La portée empirique se limite à Qwen3-30B-A3B et aux couches analysées. Le résultat ne démontre pas que d'autres modèles MoE organisent leurs experts de la même manière, ni que les étiquettes interprétables décrivent de façon complète ou causale le comportement interne du modèle.
Contenu des trois SAE
Chaque SAE possède 1 048 576 traits latents et applique une sélection TopK qui conserve jusqu'à 100 activations positives par jeton. Les traits ne forment pas un espace unique partagé entre les couches : chaque point de contrôle a été entraîné pour la sortie d'une couche spécifique, de sorte que les identifiants d'une couche ne doivent pas être traités automatiquement comme équivalents à ceux d'une autre.
Le SAE reçoit la sortie non normalisée du bloc MoE, avant l'addition résiduelle. Son encodeur applique une transformation affine, une fonction ReLU et la sélection TopK. Le décodeur combine les traits sélectionnés pour reconstruire une approximation de la sortie originale. Le système sert donc à analyser et reconstruire des activations internes ; ce n'est pas un modèle conversationnel qui génère des réponses de lui-même.
Les fichiers de poids sont au format Safetensors et contiennent des tenseurs en virgule flottante de 32 bits. Chaque fichier occupe environ 17,2 Go, en plus de la mémoire nécessaire pour charger le modèle de base si l'on souhaite capturer de nouvelles activations. Une entrée étendue peut nécessiter un traitement par segments car le calcul dense avant le TopK consomme de la mémoire par jeton.
La fiche publique indique la fraction de variance non expliquée (FVU) de la reconstruction pour chaque couche. Cette valeur mesure l'erreur de reconstruction dans la configuration évaluée : plus elle est faible, plus la fraction de variance non expliquée dans cet essai est réduite. Ce n'est pas un taux de réussite, une mesure de qualité des réponses ni une comparaison générale des modèles.
Poids et chiffres de reconstruction publiés
| Couche de Qwen3-30B-A3B | Traits latents | Activations TopK par jeton | FVU publiée |
|---|---|---|---|
| 4 | 1 048 576 | Jusqu'à 100 | 12,6 % |
| 30 | 1 048 576 | Jusqu'à 100 | 25,1 % |
| 46 | 1 048 576 | Jusqu'à 100 | 7,6 % |
Interprétation de la spécialisation des experts
L'article propose de mesurer la spécialisation dans l'espace des traits, au lieu d'assigner les experts à des catégories thématiques fixées à l'avance. Comme l'encodeur du SAE est affine et que la sortie MoE combine les sorties des experts activés, la pré-activation de chaque trait peut se décomposer exactement entre ces experts, selon la formulation du travail.
En agrégeant ces contributions sur un corpus, l'analyse identifie pour chaque expert les traits dont il impulse principalement l'activation. Le résultat est une relation entre experts et traits dominants. Cette relation dépend des données, des couches, de la définition de la dominance et des seuils utilisés ; elle ne transforme pas automatiquement un trait en explication causale ou universelle de l'expert.
Dans les couches étudiées, les auteurs indiquent que les contributions aux traits sont plus concentrées que le motif d'activation du routeur et que la plupart des traits ont un ou deux experts dominants. Ils décrivent également des chevauchements concentrés sur certaines paires d'experts. Ce sont des résultats de l'analyse de Qwen3-30B-A3B, et non des lois générales sur les architectures MoE.
Pour attribuer des descriptions sémantiques aux ensembles de traits, l'étude utilise une interprétation automatisée avec un modèle de langage. Le dépôt indique que les explications, étiquettes et jugements thématiques publiés ont été générés avec GPT-5.5. Ce sont des sorties d'une procédure automatisée et peuvent contenir des erreurs ; elles n'équivalent pas à des annotations humaines vérifiées.
Entraînement, données et reproduction
Les SAE ont été entraînés de manière indépendante avec des sorties MoE collectées du corpus d'entraînement Olmo 3. Le mélange décrit comprend cinq huitièmes de données de pré-entraînement Dolma 3, un quart de Dolci-Think-SFT — chaînes de raisonnement — et un huitième de Dolci-Instruct-SFT — suivi d'instructions —. L'article fournit les détails de la recette d'entraînement ; la fiche indique environ 3,2 milliards de jetons par SAE.
Le dépôt du projet publie du code et des données dérivées pour reproduire certaines parties de l'analyse. La statistique de contribution utilise un ensemble de validation d'environ 1,5 milliard de jetons, distinct des données utilisées pour entraîner les SAE et composé avec le même mélange de sources. Le dépôt précise que les documents sont tronqués à 4 096 jetons pour ce traitement.
La reproduction complète exige des ressources matérielles considérables. La documentation du projet estime environ 61 Go pour Qwen3-30B-A3B en bf16 et 8 Go supplémentaires pour l'encodeur SAE fp32 de chaque couche tracée ; le traitement des trois couches en une passe nécessite deux GPU de 80 Go, selon cette configuration documentée. Ces chiffres décrivent la procédure du projet et ne garantissent pas que toute implémentation nécessite exactement le même matériel.
Certaines étapes dépendent en outre d'un service compatible avec l'API d'OpenAI pour les interprétations et classifications automatisées. Le dépôt identifie GPT-5.5 comme le modèle utilisé dans l'article et avertit que changer de modèle peut altérer ces résultats. Le code publié permet de reproduire des expériences spécifiées, mais le dépôt signale qu'il n'inclut pas le flux complet qui rassemble les contextes activateurs et les effets sur les logits pour expliquer les traits.
Flux d'analyse décrit par le projet
- 01Capturer les sorties du bloc MoE dans les couches sélectionnées de Qwen3-30B-A3B.
- 02Encoder chaque sortie avec le SAE correspondant et calculer les contributions des experts aux traits actifs.
- 03Agréger les contributions sur l'ensemble de validation et construire des relations de dominance entre experts et traits.
- 04Interpréter les ensembles de traits et évaluer les étiquettes ou domaines avec les outils automatisés décrits dans le projet.
Limites pratiques et licence
Les FVU publiées sont des chiffres attribués à l'article dans la fiche du modèle. Inferama n'a pas reproduit ces mesures, et le matériel du projet ne constitue pas une validation indépendante. La FVU évalue la reconstruction des activations dans l'essai communiqué ; elle ne permet pas de conclure que le modèle produit des réponses plus précises, sûres ou utiles.
La relation entre un expert et un ensemble de traits offre une manière d'inspecter la structure interne, mais ne prouve pas la causalité. Le choix des données, le seuil pour définir la dominance, la couche et la méthode d'interprétation influencent ce qui est observé. Les descriptions générées automatiquement nécessitent une évaluation critique avant d'être utilisées comme explications fiables du comportement.
Les poids du SAE et du modèle de base sont publiés sous licence Apache License 2.0, selon la fiche. Les données d'entraînement dérivées de Dolma 3, Dolci-Think-SFT et Dolci-Instruct-SFT conservent leurs propres conditions : le dépôt attribue à ces ensembles la licence ODC-BY v1.0. La licence des poids n'élimine pas les conditions applicables à ces données ni aux services de tiers.
Aucun tarif officiel d'API pour ces points de contrôle ni offre commerciale vérifiée ne figure dans la documentation considérée. Les poids téléchargeables n'impliquent pas une exécution gratuite : l'utilisation nécessite du stockage, de la mémoire et des accélérateurs, et la capture des activations exige de charger le modèle de base. Le coût réel dépend de l'équipement, du volume traité et de l'utilisation éventuelle de services externes.
Ce que chaque élément permet de conclure
| Élément | Permet d'affirmer | Ne permet pas d'affirmer |
|---|---|---|
| FVU par couche | La reconstruction a laissé une fraction de variance non expliquée dans l'essai communiqué. | Que cette couche ou le modèle ait un taux de réussite déterminé. |
| Traits dominants par expert | Certains experts contribuent principalement à certains traits dans l'analyse réalisée. | Que l'association soit causale, exclusive ou valable pour d'autres modèles. |
| Explications automatisées | Un modèle de langage a généré des étiquettes ou descriptions pour les traits et experts. | Que les étiquettes aient été confirmées par des annotateurs humains. |
| Poids publiés | Les fichiers peuvent être téléchargés et utilisés conformément à leurs licences et exigences techniques. | Qu'il existe une API officielle, un tarif publié ou une exécution sans coût d'infrastructure. |
Poursuivre l’exploration
Sources consultées
Corrections et transparence
Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.
Proposer une correction