B
BYTEDANCE SEED / ByteDance-Seed/Cross-Layer-TopK-CLT

Cross-Layer TopK CLT

Transcodificador disperso de ByteDance Seed para estudiar Qwen3-8B-Base. Lee el flujo residual antes de los MLP y aproxima sus salidas a partir de rasgos compartidos entre capas. La revisión verificada ya contiene los 36 codificadores y 36 decodificadores; la subida se completó el 5 de noviembre.

01 / RESUMEN

Lo esencial

ORIENTACIÓNTranscodificador entre capas

Uso principal declarado o inferido con cautela desde la documentación oficial.

CONTEXTO36 capas y 32.768 rasgos por capa

Capacidad máxima de entrada cuando la fuente la publica.

SALIDA360 rasgos activos por token entre todas las capas

Límite máximo de generación documentado.

ACCESOHugging Face · checkpoint descargable

Canales de disponibilidad verificados.

TIPO DE MODELOInterpretabilidad

Familia funcional principal y especialidades verificadas.

LICENCIAApache 2.0

Condiciones declaradas para API, pesos o despliegue propio.

02 / FICHA TÉCNICA

Límites e integración

ID de APIByteDance-Seed/Cross-Layer-TopK-CLT
Tipo de modeloInterpretabilidad
Modelo de accesoPesos abiertos
LicenciaApache 2.0
DespliegueDespliegue propio
Lanzamiento05 NOV 2026
Corte de conocimientoNo publicado
EntradaActivaciones internas
SalidaRasgos latentes · Activaciones reconstruidas
Ventana de contexto36 capas y 32.768 rasgos por capa
Salida máxima360 rasgos activos por token entre todas las capas
RazonamientoNo publicado
Herramientas publicadas
Salidas estructuradasNo publicado
Procesamiento por lotesNo publicado
Caché de promptsNo publicado
Ajuste finoNo publicado
Plataformas verificadasHugging Face · PyTorch
ENCAJA MEJOR EN

Analizar activaciones y reconstruir contribuciones de capas en un modelo base fijo. Es un componente de investigación: no acepta texto como una API de conversación, no genera respuestas y sus rasgos internos no son embeddings de búsqueda.

CONVIENE VIGILAR

El conjunto completo ocupa unos 377 GB en FP32 y contiene 94.200 millones de parámetros. La configuración y los factores de escala deben corresponder a la misma revisión. El ejemplo de codificación sin reconstrucción omite los decodificadores; no demuestra que el conjunto completo quepa en una sola GPU.

03 / CAPACIDADES

Qué puede hacer

01

Orientación

Analizar activaciones y reconstruir contribuciones de capas en un modelo base fijo. Es un componente de investigación: no acepta texto como una API de conversación, no genera respuestas y sus rasgos internos no son embeddings de búsqueda.

02

Contexto

36 capas y 32.768 rasgos por capa · 360 rasgos activos por token entre todas las capas

03

Herramientas e integración

No publicado

04

Acceso

Hugging Face · checkpoint descargable

Modalidades de entrada
Activaciones internas
04 / PRECIOS

Coste documentado

ConceptoValorUnidad / condición
Entrada estándarSin tarifa API oficial publicadaTarifa estándar de API
Entrada en cachéNo publicadoLectura de prefijos reutilizados
Escritura o almacenamiento de cachéNo publicadoLa condición varía según proveedor
Salida estándarCoste de infraestructura propiaPuede incluir tokens de razonamiento
Entrada por lotesNo publicadoProcesamiento asíncrono
Salida por lotesNo publicadoProcesamiento asíncrono

No se ha verificado una API comercial para este checkpoint. La descarga de pesos no cubre el coste de almacenamiento, aceleradores, memoria ni operación.

i Los precios cambian y pueden depender del nivel, la región o la longitud del contexto. Revisa la fuente antes de tomar una decisión.

05 / EVALUACIONES

Cómo leer los resultados

“

La ficha documenta el procedimiento de codificación y reconstrucción, sin una puntuación numérica verificada para este checkpoint. Una evaluación propia debe fijar el modelo base y medir error de reconstrucción y sensibilidad a la ablación. Los tamaños de archivo y la dispersión no son métricas de calidad.

i Sin puntuación numérica verificada para la versión exacta.

Inferama solo destaca un «mejor resultado» cuando la métrica, el conjunto de prueba, la configuración y la fecha permiten una comparación equivalente. Las cifras del proveedor se presentan como afirmaciones de su propia fuente.

06 / VERSIONES

Cronología

Cross-Layer TopK CLT

Versión incorporada al catálogo verificado de Inferama.

07 / FUENTES

Trazabilidad