Utilisation principale déclarée ou déduite avec prudence de la documentation officielle.
B
BYTEDANCE SEED / ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE
Qwen3-30B-A3B MoE-Output SAE
Trois autoencodeurs TopK de ByteDance Seed analysent les sorties des blocs MoE de Qwen3-30B-A3B. Poids et article technique datent du 5 novembre. Chaque couche a un checkpoint distinct de 1 048 576 caractéristiques latentes, dont 100 au maximum sont sélectionnées par token.
01 / RÉSUMÉ
L'essentiel
Capacité d'entrée maximale une fois publiée par la source.
Limite de génération maximale documentée.
Canaux de disponibilité vérifiés.
Famille fonctionnelle principale et spécialités vérifiées.
Conditions déclarées pour l’API, les poids ou l’auto-hébergement.
02 / FICHE TECHNIQUE
Limites et intégration
| ID d’API | ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE |
|---|---|
| Type de modèle | Interprétabilité |
| Mode d’accès | Poids ouverts |
| Licence | Apache 2.0 |
| Déploiement | Auto-hébergement |
| Lancement | 05 NOV 2026 |
| Date limite des connaissances | Non publié |
| Entrée | Activations internes |
| Sortie | Caractéristiques latentes · Activations reconstruites |
| Fenêtre contextuelle | Couches 4, 30 et 46 de Qwen3-30B-A3B |
| puissance maximale | 100 caractéristiques actives par token et par autoencodeur |
| Raisonnement | Non publié |
| Outils publiés | |
| Sorties structurées | Non publié |
| Traitement par lots | Non publié |
| Cache de prompts | Non publié |
| Ajustement fin | Non publié |
| Plateformes vérifiées | Hugging Face · PyTorch |
Étudier la contribution des experts à certaines caractéristiques et quantifier l’erreur de reconstruction des activations. Les trois checkpoints de couche partagent une fiche. Ils ne remplacent pas le modèle de base, ne génèrent pas de texte et ne sont pas des embeddings de documents.
Chaque fichier de poids FP32 occupe environ 17,2 Go, en plus de la mémoire du modèle de base. Les couches n’ont pas d’espace latent interchangeable. Les entrées longues peuvent nécessiter un découpage. Les attributions observées ne démontrent pas à elles seules la causalité.
03 / CAPACITÉS
Ce qu’il peut faire
Orientation
Étudier la contribution des experts à certaines caractéristiques et quantifier l’erreur de reconstruction des activations. Les trois checkpoints de couche partagent une fiche. Ils ne remplacent pas le modèle de base, ne génèrent pas de texte et ne sont pas des embeddings de documents.
Contexte
Couches 4, 30 et 46 de Qwen3-30B-A3B · 100 caractéristiques actives par token et par autoencodeur
Outils et intégration
Non publié
Accès
Hugging Face · checkpoint téléchargeable
Modalités d’entrée
Activations internes
04 / TARIFS
Coût documenté
| Concept | Valeur | Unité/état |
|---|---|---|
| Entrée standard | Aucun tarif API officiel publié | Tarif API standard |
| Entrée en cache | Non publié | Lecture de préfixes réutilisés |
| Écriture ou stockage de cache | Non publié | La condition varie selon le fournisseur |
| Sortie standard | Coût de l’infrastructure propre | Peut inclure des tokens de raisonnement |
| Entrée par lots | Non publié | Traitement asynchrone |
| Sortie par lots | Non publié | Traitement asynchrone |
Aucune API commerciale hébergée n’a été vérifiée pour ce checkpoint. Le téléchargement des poids ne couvre ni stockage, ni accélérateurs, ni mémoire, ni exploitation.
i Les prix changent et peuvent dépendre du niveau, de la région ou de la durée du contexte. Vérifiez la source avant de prendre une décision.
05 / ÉVALUATIONS
Comment lire les résultats
“
ByteDance indique 12,6 %, 25,1 % et 7,6 % de variance inexpliquée pour les couches 4, 30 et 46. Une valeur plus faible signifie une meilleure reconstruction dans cet essai. Ces mesures ne classent pas les assistants et ne sont pas des taux de réussite de tâches. Inferama ne les a pas reproduites.
| Benchmark | Résultat | Métrique | Source |
|---|---|---|---|
| Qwen3 MoE SAE FVU (layer 4) | 12,6 % | Plus bas est meilleur | Voir la source ↗ |
| Qwen3 MoE SAE FVU (layer 30) | 25,1 % | Plus bas est meilleur | Voir la source ↗ |
| Qwen3 MoE SAE FVU (layer 46) | 7,6 % | Plus bas est meilleur | Voir la source ↗ |
Inferama ne met en évidence un « meilleur résultat » que lorsque la métrique, l'ensemble de test, la configuration et la date permettent une comparaison équivalente. Les chiffres du fournisseur sont présentés comme des affirmations provenant de sa propre source.
06 / VERSIONS
Chronologie
Qwen3-30B-A3B MoE-Output SAE
Version intégrée au catalogue vérifié d’Inferama.
07 / SOURCES