Primäre Verwendung angegeben oder vorsichtig aus offizieller Dokumentation abgeleitet.
B
BYTEDANCE SEED / ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE
Qwen3-30B-A3B MoE-Output SAE
Drei TopK-Autoencoder von ByteDance Seed untersuchen MoE-Blockausgaben von Qwen3-30B-A3B. Gewichte und Forschungsarbeit sind vom 5. November. Jede Schicht hat einen eigenen Checkpoint mit 1.048.576 latenten Merkmalen, von denen pro Token bis zu 100 ausgewählt werden.
01 / ZUSAMMENFASSUNG
Das Wesentliche
Maximale Eingabekapazität bei Veröffentlichung durch die Quelle.
Dokumentierte maximale Erzeugungsgrenze.
Verifizierte Verfügbarkeitskanäle.
Primäre Funktionsfamilie und verifizierte Spezialisierungen.
Deklarierte Bedingungen für API, Gewichte oder Self-Hosting.
02 / TECHNISCHES DATENBLATT
Limits und Integration
| API-ID | ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE |
|---|---|
| Modelltyp | Interpretierbarkeit |
| Zugangsmodell | Offene Gewichte |
| Lizenz | Apache 2.0 |
| Einsatz | Selbst gehostet |
| Veröffentlichung | 05 NOV 2026 |
| Wissensstichtag | Nicht veröffentlicht |
| Eingang | Interne Aktivierungen |
| Ausfahrt | Latente Merkmale · Rekonstruierte Aktivierungen |
| Kontextfenster | Schichten 4, 30 und 46 von Qwen3-30B-A3B |
| maximale Leistung | 100 aktive Merkmale pro Token und Autoencoder |
| Schlussfolgern | Nicht veröffentlicht |
| Veröffentlichte Tools | |
| Strukturierte Ausflüge | Nicht veröffentlicht |
| Stapelverarbeitung | Nicht veröffentlicht |
| Prompt-Cache | Nicht veröffentlicht |
| Feinabstimmung | Nicht veröffentlicht |
| Verifizierte Plattformen | Hugging Face · PyTorch |
Untersuchen, welche Experten zu bestimmten Merkmalen beitragen, und den Rekonstruktionsfehler von Aktivierungen messen. Die drei Schichtcheckpoint-Varianten teilen eine Karte. Sie ersetzen das Basismodell nicht, erzeugen keinen Text und sind keine Dokument-Embeddings.
Jede FP32-Gewichtsdatei benötigt rund 17,2 GB zusätzlich zum Speicher des Basismodells. Die Schichten teilen keinen austauschbaren latenten Raum. Lange Eingaben müssen ggf. segmentiert werden. Beobachtete Zuordnungen allein belegen keine Kausalität.
03 / FÄHIGKEITEN
Was es kann
Orientierung
Untersuchen, welche Experten zu bestimmten Merkmalen beitragen, und den Rekonstruktionsfehler von Aktivierungen messen. Die drei Schichtcheckpoint-Varianten teilen eine Karte. Sie ersetzen das Basismodell nicht, erzeugen keinen Text und sind keine Dokument-Embeddings.
Kontext
Schichten 4, 30 und 46 von Qwen3-30B-A3B · 100 aktive Merkmale pro Token und Autoencoder
Tools und Integration
Nicht veröffentlicht
Zugang
Hugging Face · herunterladbarer Checkpoint
Eingabemodalitäten
Interne Aktivierungen
04 / PREISE
Dokumentierte Kosten
| Konzept | Wert | Einheit/Zustand |
|---|---|---|
| Standardeingabe | Kein offizieller API-Preis veröffentlicht | Standardtarif der API |
| Eingabe aus dem Cache | Nicht veröffentlicht | Lesen wiederverwendeter Präfixe |
| Schreiben oder Speichern im Cache | Nicht veröffentlicht | Die Bedingung variiert je nach Anbieter |
| Standardausgabe | Kosten der eigenen Infrastruktur | Kann Reasoning-Tokens enthalten |
| Batch-Eingabe | Nicht veröffentlicht | Asynchrone Verarbeitung |
| Batch-Ausgabe | Nicht veröffentlicht | Asynchrone Verarbeitung |
Für diesen Checkpoint ist keine kommerziell gehostete API verifiziert. Herunterladbare Gewichte decken weder Speicherplatz noch Beschleuniger, Arbeitsspeicher oder Betrieb ab.
i Die Preise ändern sich und können von Level, Region oder Kontextlänge abhängen. Überprüfen Sie die Quelle, bevor Sie eine Entscheidung treffen.
05 / BEWERTUNGEN
So lesen Sie die Ergebnisse
“
ByteDance meldet 12,6 %, 25,1 % und 7,6 % unerklärte Varianz für die Schichten 4, 30 und 46. Niedriger bedeutet in diesem Test bessere Rekonstruktion. Die Werte sind weder Aufgabenerfolgsraten noch Chat-Modellrankings. Inferama hat sie nicht reproduziert.
| Benchmark | Ergebnis | Metrik | Quelle |
|---|---|---|---|
| Qwen3 MoE SAE FVU (layer 4) | 12,6 % | Niedriger ist besser | Quelle öffnen ↗ |
| Qwen3 MoE SAE FVU (layer 30) | 25,1 % | Niedriger ist besser | Quelle öffnen ↗ |
| Qwen3 MoE SAE FVU (layer 46) | 7,6 % | Niedriger ist besser | Quelle öffnen ↗ |
Inferama hebt nur dann ein „bestes Ergebnis“ hervor, wenn Metrik, Testsatz, Konfiguration und Datum einen gleichwertigen Vergleich ermöglichen. Die Zahlen des Lieferanten werden als Angaben aus eigener Quelle dargestellt.
06 / VERSIONEN
Chronologie
Qwen3-30B-A3B MoE-Output SAE
In den verifizierten Katalog von Inferama aufgenommene Version.
07 / QUELLEN