ByteDance Seed veröffentlicht den Cross-Layer TopK CLT für Qwen3-8B-Base
Bild erstellt vom Redaktionsteam von Inferama
01

Bestätigte Verfügbarkeit der vollständigen Gewichte

ByteDance Seed hat die vollständigen Gewichte des Cross-Layer TopK CLT in seinem öffentlichen Repository veröffentlicht. Es handelt sich um ein Interpretierbarkeitsmodell, das spezifisch für Qwen3-8B-Base entwickelt wurde. Der Dateibaum enthält die 36 Codierungsdateien (W_enc) und die 36 Dekodierungsdateien (W_dec), zusammen mit den Normalisierungsfaktoren und der Konfiguration.

Der Upload wurde Ende Oktober 2026 abgeschlossen, wobei die meisten Dateien zwischen dem 3. und 5. November hochgeladen wurden. Der gesamte Datensatz belegt 377 GB im FP32-Format und enthält 94,2 Milliarden Parameter. Die Verfügbarkeit aller Komponenten für Codierung und Rekonstruktion beseitigt die Abhängigkeit von teilweisen oder nicht verifizierten Versionen.

Komponenten des Cross-Layer TopK CLT-Repositories

Aufschlüsselung der wesentlichen Dateien für die Ausführung des Transcoders.

DateiInhaltUngefähre Größe
W_enc_{l}.safetensorsEncoder der Schicht l: [32768, 4096]537 MB pro Datei
W_dec_{l}.safetensorsDecoder der Schicht l: [32768, 36-l, 4096]2,68 GB bis 19,3 GB
W_dec_norm.safetensorsSpaltennormen des Decoders4,72 MB
factors.safetensorsMittlere Aktivierungsnormen (resid_mid, mlp_out)Klein
02

Architektur und Funktionsmechanismus

Der Transcoder arbeitet als System von zwischen Schichten geteilten latenten Merkmalen. Jede der 36 Schichten von Qwen3-8B-Base besitzt 32.768 Latente, die den Residual-Stream direkt vor der Post-Attention-Layer-Normalisierung (resid_mid) lesen und in die Ausgaben der MLPs dieser Schicht und aller nachfolgenden Schichten schreiben.

Der Codierungsprozess wendet eine ReLU-Funktion auf die Projektion des Residual-Streams durch den Encoder der entsprechenden Schicht an. Anschließend wird für jedes Latente eine Punktzahl berechnet, indem seine Aktivation mit der Norm seiner Decodierungsspalte multipliziert wird. Das System behält die 360 Merkmale mit der höchsten Punktzahl (36 Schichten × k=10) gemeinsam über alle Schichten bei, was eine spärliche und globale Darstellung des internen Zustands des Modells gewährleistet.

03

Infrastruktur- und Ausführungsanforderungen

Die Ausführung des vollständigen Transcoders erfordert eine erhebliche Recheninfrastruktur. Das Modell wurde mit FP32-Aktivierungen trainiert, daher muss das Basismodell Qwen3-8B-Base ebenfalls in FP32 ausgeführt werden, um die numerische Konsistenz zu wahren. Der Gesamt-Speicherbedarf von 377 GB erfordert ein System mit ausreichender Festplatten- und Arbeitsspeicherkapazität.

Für die Codierung ohne Rekonstruktion ist es möglich, die Decoderdateien (W_dec) auszuschließen, was den Speicherbedarf reduziert. In diesem Modus ist eine einzelne GPU mit 80 GB Speicher ausreichend, um die Latente zu verarbeiten. Für die vollständige Rekonstruktion der MLP-Ausgaben müssen die Latente über mehrere GPUs verteilt werden, da jede GPU einen Teil der 32.768 Merkmale pro Schicht speichert.

Prozess der Codierung und Rekonstruktion

Technische Schritte zur Ausführung des Transcoders auf einem Eingabetext.

  1. 01Das vollständige Checkpoint oder nur die Encoder je nach Ziel herunterladen.
  2. 02Qwen3-8B-Base in FP32 laden und Hooks für resid_mid und mlp_out registrieren.
  3. 03Die Latent-Aktivierungen mittels ReLU(W_enc · x) berechnen.
  4. 04Die 360 Latente mit der höchsten globalen Punktzahl (Aktivierung × Decoder-Norm) auswählen.
  5. 05mlp_out rekonstruieren, indem die Beiträge der aktiven Latenten jeder Schicht summiert werden.
04

Lizenz und Nutzungsbedingungen

Die Gewichte und der Code des Cross-Layer TopK CLT werden unter der Apache License 2.0 mit Copyright von ByteDance und/oder seinen verbundenen Unternehmen (2026) verteilt. Diese Lizenz erlaubt die Nutzung, Änderung und kommerzielle Verbreitung, sofern die Copyright-Hinweise beibehalten und eine Kopie der Lizenz in abgeleiteten Werken enthalten ist.

Die Trainingsdaten stammen aus Dolma 3, Dolci-Think und Dolci-Instruct, gemischt im Verhältnis 5:2:1 nach Token (ca. 3,4 Milliarden Token). Diese Datensätze sind unter ODC-BY lizenziert. Die Kombination einer permissiven Code-Lizenz mit offenen Daten erleichtert die Integration des Transcoders in Interpretierbarkeits-Pipelines ohne Einschränkungen der kommerziellen Nutzung.

05

Grenzen und Überlegungen für die Bewertung

Das offizielle Datenblatt beschreibt den Codierungs- und Rekonstruktionsprozess, enthält jedoch keine verifizierte numerische Bewertung der Näherungsqualität. Die Bewertung der Treue des Transcoders erfordert die Messung des Rekonstruktionsfehlers von mlp_out und die Analyse der Empfindlichkeit gegenüber der Ablation spezifischer Merkmale.

Token, deren resid_mid oder mlp_out 20-mal die mittlere Norm der Schicht erreicht, werden während der Inferenz verworfen, wie es auch beim Training der Fall war. In der Praxis betrifft dies hauptsächlich das erste Token der Sequenz. Die Dateigrößen und der Grad der Sparsity der Latenten sind an sich keine Qualitätsmetriken, sondern strukturelle Merkmale des Modells.

06

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen