B
BYTEDANCE SEED / ByteDance-Seed/Cross-Layer-TopK-CLT

Cross-Layer TopK CLT

Dünn besetzter Transcoder von ByteDance Seed zur Untersuchung von Qwen3-8B-Base. Er liest den Residualstrom vor den MLPs und nähert deren Ausgaben mit schichtübergreifenden Merkmalen an. Die geprüfte Revision enthält alle 36 Encoder und 36 Decoder; der Upload endete am 5. November.

01 / ZUSAMMENFASSUNG

Das Wesentliche

ORIENTIERUNGSchichtübergreifender Transcoder

Primäre Verwendung angegeben oder vorsichtig aus offizieller Dokumentation abgeleitet.

KONTEXT36 Schichten und 32.768 Merkmale pro Schicht

Maximale Eingabekapazität bei Veröffentlichung durch die Quelle.

AUSFAHRT360 aktive Merkmale pro Token über alle Schichten

Dokumentierte maximale Erzeugungsgrenze.

ZUGANGHugging Face · herunterladbarer Checkpoint

Verifizierte Verfügbarkeitskanäle.

MODELLTYPInterpretierbarkeit

Primäre Funktionsfamilie und verifizierte Spezialisierungen.

LIZENZApache 2.0

Deklarierte Bedingungen für API, Gewichte oder Self-Hosting.

02 / TECHNISCHES DATENBLATT

Limits und Integration

API-IDByteDance-Seed/Cross-Layer-TopK-CLT
ModelltypInterpretierbarkeit
ZugangsmodellOffene Gewichte
LizenzApache 2.0
EinsatzSelbst gehostet
Veröffentlichung05 NOV 2026
WissensstichtagNicht veröffentlicht
EingangInterne Aktivierungen
AusfahrtLatente Merkmale · Rekonstruierte Aktivierungen
Kontextfenster36 Schichten und 32.768 Merkmale pro Schicht
maximale Leistung360 aktive Merkmale pro Token über alle Schichten
SchlussfolgernNicht veröffentlicht
Veröffentlichte Tools
Strukturierte AusflügeNicht veröffentlicht
StapelverarbeitungNicht veröffentlicht
Prompt-CacheNicht veröffentlicht
FeinabstimmungNicht veröffentlicht
Verifizierte PlattformenHugging Face · PyTorch
EIGNET SICH BESSER FÜR

Analyse von Aktivierungen und Rekonstruktion der Schichtbeiträge eines festen Basismodells. Diese Forschungskomponente nimmt keinen Text wie eine Chat-API an, erzeugt keine Antworten und ihre internen Merkmale sind keine Such-Embeddings.

SOLLTE BEOBACHTET WERDEN

Der vollständige Satz belegt rund 377 GB in FP32 und enthält 94,2 Milliarden Parameter. Konfiguration und Skalierungsfaktoren müssen zur Revision passen. Das reine Kodierbeispiel lässt Decoder aus und belegt nicht, dass alles auf eine GPU passt.

03 / FÄHIGKEITEN

Was es kann

01

Orientierung

Analyse von Aktivierungen und Rekonstruktion der Schichtbeiträge eines festen Basismodells. Diese Forschungskomponente nimmt keinen Text wie eine Chat-API an, erzeugt keine Antworten und ihre internen Merkmale sind keine Such-Embeddings.

02

Kontext

36 Schichten und 32.768 Merkmale pro Schicht · 360 aktive Merkmale pro Token über alle Schichten

03

Tools und Integration

Nicht veröffentlicht

04

Zugang

Hugging Face · herunterladbarer Checkpoint

Eingabemodalitäten
Interne Aktivierungen
04 / PREISE

Dokumentierte Kosten

KonzeptWertEinheit/Zustand
StandardeingabeKein offizieller API-Preis veröffentlichtStandardtarif der API
Eingabe aus dem CacheNicht veröffentlichtLesen wiederverwendeter Präfixe
Schreiben oder Speichern im CacheNicht veröffentlichtDie Bedingung variiert je nach Anbieter
StandardausgabeKosten der eigenen InfrastrukturKann Reasoning-Tokens enthalten
Batch-EingabeNicht veröffentlichtAsynchrone Verarbeitung
Batch-AusgabeNicht veröffentlichtAsynchrone Verarbeitung

Für diesen Checkpoint ist keine kommerziell gehostete API verifiziert. Herunterladbare Gewichte decken weder Speicherplatz noch Beschleuniger, Arbeitsspeicher oder Betrieb ab.

i Die Preise ändern sich und können von Level, Region oder Kontextlänge abhängen. Überprüfen Sie die Quelle, bevor Sie eine Entscheidung treffen.

05 / BEWERTUNGEN

So lesen Sie die Ergebnisse

“

Die Karte dokumentiert Kodierung und Rekonstruktion ohne verifizierten Zahlenwert für diesen Checkpoint. Eine eigene Prüfung sollte das Basismodell festschreiben und Rekonstruktionsfehler und Ablationsempfindlichkeit messen. Dateigröße und Sparsität sind keine Qualitätsmaße.

i Kein verifizierter Zahlenwert für die genaue Version.

Inferama hebt nur dann ein „bestes Ergebnis“ hervor, wenn Metrik, Testsatz, Konfiguration und Datum einen gleichwertigen Vergleich ermöglichen. Die Zahlen des Lieferanten werden als Angaben aus eigener Quelle dargestellt.

06 / VERSIONEN

Chronologie

Cross-Layer TopK CLT

In den verifizierten Katalog von Inferama aufgenommene Version.

07 / QUELLEN

Rückverfolgbarkeit