Primäre Verwendung angegeben oder vorsichtig aus offizieller Dokumentation abgeleitet.
Cross-Layer TopK CLT
Dünn besetzter Transcoder von ByteDance Seed zur Untersuchung von Qwen3-8B-Base. Er liest den Residualstrom vor den MLPs und nähert deren Ausgaben mit schichtübergreifenden Merkmalen an. Die geprüfte Revision enthält alle 36 Encoder und 36 Decoder; der Upload endete am 5. November.
Das Wesentliche
Maximale Eingabekapazität bei Veröffentlichung durch die Quelle.
Dokumentierte maximale Erzeugungsgrenze.
Verifizierte Verfügbarkeitskanäle.
Primäre Funktionsfamilie und verifizierte Spezialisierungen.
Deklarierte Bedingungen für API, Gewichte oder Self-Hosting.
Limits und Integration
| API-ID | ByteDance-Seed/Cross-Layer-TopK-CLT |
|---|---|
| Modelltyp | Interpretierbarkeit |
| Zugangsmodell | Offene Gewichte |
| Lizenz | Apache 2.0 |
| Einsatz | Selbst gehostet |
| Veröffentlichung | 05 NOV 2026 |
| Wissensstichtag | Nicht veröffentlicht |
| Eingang | Interne Aktivierungen |
| Ausfahrt | Latente Merkmale · Rekonstruierte Aktivierungen |
| Kontextfenster | 36 Schichten und 32.768 Merkmale pro Schicht |
| maximale Leistung | 360 aktive Merkmale pro Token über alle Schichten |
| Schlussfolgern | Nicht veröffentlicht |
| Veröffentlichte Tools | |
| Strukturierte Ausflüge | Nicht veröffentlicht |
| Stapelverarbeitung | Nicht veröffentlicht |
| Prompt-Cache | Nicht veröffentlicht |
| Feinabstimmung | Nicht veröffentlicht |
| Verifizierte Plattformen | Hugging Face · PyTorch |
Analyse von Aktivierungen und Rekonstruktion der Schichtbeiträge eines festen Basismodells. Diese Forschungskomponente nimmt keinen Text wie eine Chat-API an, erzeugt keine Antworten und ihre internen Merkmale sind keine Such-Embeddings.
Der vollständige Satz belegt rund 377 GB in FP32 und enthält 94,2 Milliarden Parameter. Konfiguration und Skalierungsfaktoren müssen zur Revision passen. Das reine Kodierbeispiel lässt Decoder aus und belegt nicht, dass alles auf eine GPU passt.
Was es kann
Orientierung
Analyse von Aktivierungen und Rekonstruktion der Schichtbeiträge eines festen Basismodells. Diese Forschungskomponente nimmt keinen Text wie eine Chat-API an, erzeugt keine Antworten und ihre internen Merkmale sind keine Such-Embeddings.
Kontext
36 Schichten und 32.768 Merkmale pro Schicht · 360 aktive Merkmale pro Token über alle Schichten
Tools und Integration
Nicht veröffentlicht
Zugang
Hugging Face · herunterladbarer Checkpoint
Dokumentierte Kosten
| Konzept | Wert | Einheit/Zustand |
|---|---|---|
| Standardeingabe | Kein offizieller API-Preis veröffentlicht | Standardtarif der API |
| Eingabe aus dem Cache | Nicht veröffentlicht | Lesen wiederverwendeter Präfixe |
| Schreiben oder Speichern im Cache | Nicht veröffentlicht | Die Bedingung variiert je nach Anbieter |
| Standardausgabe | Kosten der eigenen Infrastruktur | Kann Reasoning-Tokens enthalten |
| Batch-Eingabe | Nicht veröffentlicht | Asynchrone Verarbeitung |
| Batch-Ausgabe | Nicht veröffentlicht | Asynchrone Verarbeitung |
Für diesen Checkpoint ist keine kommerziell gehostete API verifiziert. Herunterladbare Gewichte decken weder Speicherplatz noch Beschleuniger, Arbeitsspeicher oder Betrieb ab.
i Die Preise ändern sich und können von Level, Region oder Kontextlänge abhängen. Überprüfen Sie die Quelle, bevor Sie eine Entscheidung treffen.
So lesen Sie die Ergebnisse
Die Karte dokumentiert Kodierung und Rekonstruktion ohne verifizierten Zahlenwert für diesen Checkpoint. Eine eigene Prüfung sollte das Basismodell festschreiben und Rekonstruktionsfehler und Ablationsempfindlichkeit messen. Dateigröße und Sparsität sind keine Qualitätsmaße.
i Kein verifizierter Zahlenwert für die genaue Version.
Inferama hebt nur dann ein „bestes Ergebnis“ hervor, wenn Metrik, Testsatz, Konfiguration und Datum einen gleichwertigen Vergleich ermöglichen. Die Zahlen des Lieferanten werden als Angaben aus eigener Quelle dargestellt.
Chronologie
Cross-Layer TopK CLT
In den verifizierten Katalog von Inferama aufgenommene Version.