ByteDance Seed publica el transcodificador Cross-Layer TopK CLT para Qwen3-8B-Base
Imagen generada por el Equipo Editorial de Inferama
01

Disponibilidad confirmada de los pesos completos

ByteDance Seed ha publicado en su repositorio público los pesos completos del Cross-Layer TopK CLT, un modelo de interpretabilidad diseñado específicamente para Qwen3-8B-Base. La verificación del árbol de archivos confirma la presencia de los 36 archivos de codificación (W_enc) y los 36 de decodificación (W_dec), junto con los factores de normalización y la configuración.

La subida se completó a finales de octubre de 2026, con la mayoría de los archivos cargados entre el 3 y el 5 de noviembre. El conjunto total ocupa 377 GB en formato FP32 y contiene 94.200 millones de parámetros. La disponibilidad de todos los componentes necesarios para la codificación y la reconstrucción elimina la dependencia de versiones parciales o no verificadas.

Componentes del repositorio Cross-Layer TopK CLT

Desglose de los archivos esenciales para la ejecución del transcodificador.

ArchivoContenidoTamaño aproximado
W_enc_{l}.safetensorsCodificador de la capa l: [32768, 4096]537 MB por archivo
W_dec_{l}.safetensorsDecodificador de la capa l: [32768, 36-l, 4096]2.68 GB a 19.3 GB
W_dec_norm.safetensorsNormas de columnas del decodificador4.72 MB
factors.safetensorsNormas medias de activación (resid_mid, mlp_out)Pequeño
02

Arquitectura y mecanismo de funcionamiento

El transcodificador opera como un sistema de rasgos latentes compartidos entre capas. Cada una de las 36 capas de Qwen3-8B-Base posee 32.768 latentes que leen el flujo residual justo antes de la capa de normalización post-atención (resid_mid) y escriben en las salidas de los MLP de esa capa y de todas las capas posteriores.

El proceso de codificación aplica una función ReLU a la proyección del flujo residual por el codificador de la capa correspondiente. A continuación, se calcula una puntuación para cada latente multiplicando su activación por la norma de su columna de decodificación. El sistema retiene los 360 rasgos con mayor puntuación (36 capas × k=10) de forma conjunta entre todas las capas, garantizando una representación dispersa y global del estado interno del modelo.

03

Requisitos de infraestructura y ejecución

La ejecución del transcodificador completo requiere una infraestructura de cómputo significativa. El modelo fue entrenado con activaciones en FP32, por lo que el modelo base Qwen3-8B-Base debe ejecutarse también en FP32 para mantener la coherencia numérica. El almacenamiento total de 377 GB exige un sistema con capacidad de disco y memoria adecuada.

Para la codificación sin reconstrucción, es posible excluir los archivos de decodificación (W_dec), reduciendo la carga de memoria. En este modo, una sola GPU de 80 GB es suficiente para procesar los latentes. Para la reconstrucción completa de las salidas de los MLP, se requiere distribuir los latentes entre múltiples GPUs, ya que cada GPU almacena una porción de los 32.768 rasgos de cada capa.

Proceso de codificación y reconstrucción

Pasos técnicos para ejecutar el transcodificador sobre una frase de entrada.

  1. 01Descargar el checkpoint completo o solo los codificadores según el objetivo.
  2. 02Cargar Qwen3-8B-Base en FP32 y registrar hooks en resid_mid y mlp_out.
  3. 03Calcular las activaciones de los latentes mediante ReLU(W_enc · x).
  4. 04Seleccionar los 360 latentes con mayor puntuación global (activación × norma decodificadora).
  5. 05Reconstruir mlp_out sumando las contribuciones de los latentes activos de cada capa.
04

Licencia y condiciones de uso

Los pesos y el código del Cross-Layer TopK CLT se distribuyen bajo la Apache License 2.0, con copyright de ByteDance y/o sus afiliados en 2026. Esta licencia permite el uso, la modificación y la distribución comercial, siempre que se mantengan los avisos de copyright y se incluya una copia de la licencia en las obras derivadas.

Los datos de entrenamiento provienen de Dolma 3, Dolci-Think y Dolci-Instruct, mezclados en una proporción de 5:2:1 por tokens (aproximadamente 3.400 millones de tokens). Estos conjuntos de datos están licenciados bajo ODC-BY. La combinación de una licencia de código permissiva y datos abiertos facilita la integración del transcodificador en pipelines de interpretabilidad sin restricciones de uso comercial.

05

Límites y consideraciones para la evaluación

La ficha oficial documenta el procedimiento de codificación y reconstrucción, pero no proporciona una puntuación numérica verificada de la calidad de la aproximación. La evaluación de la fidelidad del transcodificador debe realizarse midiendo el error de reconstrucción de mlp_out y la sensibilidad a la ablación de rasgos específicos.

Los tokens cuyo resid_mid o mlp_out alcanza 20 veces la norma media de la capa se descartan durante la inferencia, tal como ocurrió en el entrenamiento. En la práctica, esto afecta principalmente al primer token de la secuencia. Los tamaños de archivo y el grado de dispersión de los latentes no son métricas de calidad en sí mismos, sino características estructurales del modelo.

06

Continúa explorando

Fuentes consultadas

03

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.

Proponer una corrección