Was veröffentlicht wurde und was untersucht wird
ByteDance Seed hat drei sparsitybasierte Autoencoder (SAE) veröffentlicht, die auf der Ausgabe von Mixture-of-Experts-Blöcken (MoE) in Qwen3-30B-A3B trainiert wurden. Jeder Autoencoder entspricht einer spezifischen Ebene: der 4, der 30 oder der 46. Die Gewichte sind nach Ebenen organisiert und können als unabhängige Dateien heruntergeladen werden.
Die zugehörige Arbeit mit dem Titel „SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization“ wurde am 5. November 2026 als Version 1 bei arXiv eingereicht. Es handelt sich um ein Preprint, was nicht belegt, dass der Artikel eine Peer-Review durchlaufen hat. Die Studie untersucht, wie die Beiträge der Experten des Modells mit interpretierbaren latenten Merkmalen zusammenhängen.
Ein MoE-Modell aktiviert für die Verarbeitung jedes Tokens nur einige seiner Experten. Das Zählen, wie oft ein Experte aktiviert wird, kann breite Muster zeigen, gibt aber allein nicht an, welchen Teil der Repräsentation er beisteuert. Die Methode des Artikels analysiert die kombinierte Ausgabe des Blocks und zerlegt mathematisch die Voraktivierung jedes SAE-Merkmals über die aktiven Experten.
Der empirische Umfang ist auf Qwen3-30B-A3B und die analysierten Ebenen beschränkt. Das Ergebnis beweist nicht, dass andere MoE-Modelle ihre Experten auf dieselbe Weise organisieren, noch dass die interpretierbaren Labels das interne Verhalten des Modells vollständig oder kausal beschreiben.
Was die drei SAE enthalten
Jeder SAE verfügt über 1.048.576 latente Merkmale und wendet eine TopK-Auswahl an, die bis zu 100 positive Aktivierungen pro Token beibehält. Die Merkmale bilden keinen einzigen geteilten Raum zwischen den Ebenen: Jeder Checkpoint wurde für die Ausgabe einer spezifischen Ebene trainiert, daher sollten die Identifikatoren einer Ebene nicht automatisch als äquivalent zu denen einer anderen behandelt werden.
Der SAE erhält die nicht normalisierte Ausgabe des MoE-Blocks, bevor die residuelle Addition erfolgt. Sein Encoder wendet eine affine Transformation, eine ReLU-Funktion und die TopK-Auswahl an. Der Decoder kombiniert die ausgewählten Merkmale, um eine Näherung der ursprünglichen Ausgabe zu rekonstruieren. Daher dient das System zur Analyse und Rekonstruktion interner Aktivierungen; es ist kein konversationelles Modell, das eigenständig Antworten generiert.
Die Gewichtsdateien sind im Safetensors-Format und enthalten Gleitkomma-Tensoren mit 32 Bit. Jede Datei belegt ungefähr 17,2 GB, zusätzlich zum Speicher, der zum Laden des Basismodells erforderlich ist, wenn neue Aktivierungen erfasst werden sollen. Eine umfangreiche Eingabe kann eine segmentierte Verarbeitung erfordern, da die dichte Berechnung vor der TopK-Auswahl Speicher pro Token verbraucht.
Die Modellkarte veröffentlicht den Anteil der nicht erklärten Varianz (FVU) der Rekonstruktion für jede Ebene. Der Wert misst den Rekonstruktionsfehler in der bewerteten Konfiguration: Je kleiner er ist, desto kleiner ist der Anteil der Varianz, der in diesem Versuch unerklärt bleibt. Es ist keine Trefferquote, keine Maßzahl für die Qualität von Antworten und kein allgemeiner Vergleich von Modellen.
Veröffentlichte Gewichte und Rekonstruktionswerte
| Ebene von Qwen3-30B-A3B | Latente Merkmale | TopK-Aktivierungen pro Token | Veröffentlichte FVU |
|---|---|---|---|
| 4 | 1.048.576 | Bis zu 100 | 12,6 % |
| 30 | 1.048.576 | Bis zu 100 | 25,1 % |
| 46 | 1.048.576 | Bis zu 100 | 7,6 % |
Wie die Spezialisierung der Experten interpretiert wird
Der Artikel schlägt vor, die Spezialisierung im Merkmalsraum zu messen, anstatt Experten vorab festgelegten thematischen Kategorien zuzuordnen. Da der SAE-Encoder affin ist und die MoE-Ausgabe die Ausgaben der aktivierten Experten kombiniert, kann die Voraktivierung jedes Merkmals unter der Formulierung der Arbeit genau über diese Experten zerlegt werden.
Durch die Aggregation dieser Beiträge über einen Korpus identifiziert die Analyse für jeden Experten die Merkmale, deren Aktivierung er hauptsächlich antreibt. Das Ergebnis ist eine Beziehung zwischen Experten und dominanten Merkmalen. Diese Beziehung hängt von den Daten, den Ebenen, der Definition der Dominanz und den verwendeten Schwellwerten ab; sie macht ein Merkmal nicht automatisch zu einer kausalen oder universellen Erklärung des Experten.
In den untersuchten Ebenen berichten die Autoren, dass die Beiträge zu den Merkmalen konzentrierter sind als das Aktivierungsmuster des Routers und dass die meisten Merkmale einen oder zwei dominante Experten haben. Sie beschreiben auch Überlappungen, die sich auf bestimmte Expertepaare konzentrieren. Dies sind Ergebnisse der Analyse von Qwen3-30B-A3B, keine allgemeinen Gesetze über MoE-Architekturen.
Um semantische Beschreibungen für die Merkmalsmengen zuzuordnen, verwendet die Studie eine automatisierte Interpretation mit einem Sprachmodell. Das Repository gibt an, dass die veröffentlichten Erklärungen, Labels und thematischen Urteile mit GPT-5.5 generiert wurden. Es handelt sich um Ausgaben eines automatisierten Verfahrens und können Fehler enthalten; sie sind keine von Menschen verifizierten Annotationen.
Training, Daten und Reproduzierbarkeit
Die SAE wurden unabhängig mit MoE-Ausgaben trainiert, die aus dem Trainingskorpus von Olmo 3 stammen. Die beschriebene Mischung umfasst fünf Achtel der Dolma-3-Pretraining-Daten, ein Viertel von Dolci-Think-SFT – Kettendenken – und ein Achtel von Dolci-Instruct-SFT – Anweisungsfolgemodellierung. Der Artikel bietet Details zum Trainingsrezept; die Modellkarte gibt etwa 3,2 Milliarden Tokens pro SAE an.
Das Projekt-Repository veröffentlicht Code und abgeleitete Daten, um Teile der Analyse zu reproduzieren. Die Beitragsstatistik verwendet einen Validierungssatz von etwa 1,5 Milliarden Tokens, der von den Daten getrennt ist, die zum Training der SAE verwendet wurden, und aus derselben Quellenmischung besteht. Das Repository legt fest, dass die Dokumente für diese Verarbeitung auf 4.096 Tokens gekürzt werden.
Die vollständige Reproduktion erfordert erhebliche Hardware-Ressourcen. Die Projektdokumentation schätzt etwa 61 GB für Qwen3-30B-A3B in bf16 und weitere 8 GB für den fp32-Encoder des SAE pro verfolgter Ebene; die Verarbeitung der drei Ebenen in einem Durchlauf erfordert zwei 80-GB-GPUs, gemäß dieser dokumentierten Konfiguration. Diese Zahlen beschreiben das Verfahren des Projekts und garantieren nicht, dass jede Implementierung genau dieselbe Hardware benötigt.
Einige Stufen hängen zusätzlich von einem OpenAI-kompatiblen Dienst für die automatisierten Interpretationen und Klassifikationen ab. Das Repository identifiziert GPT-5.5 als das im Artikel verwendete Modell und warnt, dass ein Modellwechsel diese Ergebnisse verändern kann. Der veröffentlichte Code ermöglicht die Reproduktion spezifizierter Experimente, aber das Repository weist darauf hin, dass der vollständige Workflow, der aktivierende Kontexte und Logit-Effekte zur Erklärung von Merkmalen sammelt, nicht enthalten ist.
Vom Projekt beschriebener Analysefluss
- 01Erfassen der MoE-Block-Ausgaben in den ausgewählten Ebenen von Qwen3-30B-A3B.
- 02Kodieren jeder Ausgabe mit dem entsprechenden SAE und Berechnen der Beiträge der Experten zu den aktiven Merkmalen.
- 03Aggregieren der Beiträge über den Validierungssatz und Aufbau von Dominanzbeziehungen zwischen Experten und Merkmalen.
- 04Interpretieren der Merkmalsmengen und Bewerten von Labels oder Domänen mit den im Projekt beschriebenen automatisierten Werkzeugen.
Praktische Grenzen und Lizenz
Die veröffentlichten FVU-Werte sind dem Artikel in der Modellkarte zugeschrieben. Inferama hat diese Messungen nicht reproduziert, und das Projektmaterial stellt keine unabhängige Validierung dar. Die FVU bewertet die Rekonstruktion von Aktivierungen im berichteten Versuch; sie erlaubt nicht den Schluss, dass das Modell genauere, sicherere oder nützlichere Antworten erzeugt.
Die Beziehung zwischen einem Experten und einem Merkmalsset bietet eine Möglichkeit, die interne Struktur zu inspizieren, beweist aber keine Kausalität. Die Datenauswahl, der Schwellwert für die Definition der Dominanz, die Ebene und die Interpretationsmethode beeinflussen das Beobachtete. Automatisch generierte Beschreibungen erfordern eine kritische Bewertung, bevor sie als zuverlässige Erklärungen des Verhaltens verwendet werden.
Die SAE-Gewichte und das Basismodell werden gemäß der Modellkarte unter der Apache License 2.0 veröffentlicht. Die Trainingsdaten, die aus Dolma 3, Dolci-Think-SFT und Dolci-Instruct-SFT abgeleitet sind, behalten ihre eigenen Bedingungen: Das Repository weist diesen Datensätzen ODC-BY v1.0 zu. Die Lizenz der Gewichte eliminiert nicht die auf diese Daten oder Dienste Dritter anwendbaren Bedingungen.
Es gibt keine offizielle API-Gebühr für diese Checkpoints und kein verifiziertes kommerzielles Angebot in der betrachteten Dokumentation. Der Download der Gewichte impliziert keine kostenlose Ausführung: Die Nutzung erfordert Speicher, Arbeitsspeicher und Beschleuniger, und die Erfassung von Aktivierungen erfordert das Laden des Basismodells. Die tatsächlichen Kosten hängen von der Ausrüstung, dem verarbeiteten Volumen und der Nutzung externer Dienste ab.
Was jedes Element zu belegen erlaubt
| Element | Erlaubt zu behaupten | Erlaubt nicht zu behaupten |
|---|---|---|
| FVU pro Ebene | Die Rekonstruktion ließ einen Anteil der Varianz im berichteten Versuch unerklärt. | Dass diese Ebene oder das Modell eine bestimmte Trefferquote hat. |
| Dominante Merkmale pro Experte | Einige Experten tragen hauptsächlich zu bestimmten Merkmalen in der durchgeführten Analyse bei. | Dass die Assoziation kausal, exklusiv oder für andere Modelle gültig ist. |
| Automatische Erklärungen | Ein Sprachmodell hat Labels oder Beschreibungen für Merkmale und Experten generiert. | Dass die Labels von menschlichen Annotatoren bestätigt wurden. |
| Veröffentlichte Gewichte | Die Dateien können gemäß ihren Lizenzen und technischen Anforderungen heruntergeladen und verwendet werden. | Dass eine offizielle API, eine veröffentlichte Gebühr oder eine Ausführung ohne Infrastrukturkosten existiert. |
Weiter entdecken
Verwendete Quellen
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen