ByteDance publica autocodificadores dispersos para analizar tres capas de Qwen3-30B-A3B
Imagen generada por el Equipo Editorial de Inferama
01

Qué se publicó y qué estudia

ByteDance Seed ha publicado tres autocodificadores dispersos (SAE) entrenados sobre la salida de bloques de mezcla de expertos (MoE) de Qwen3-30B-A3B. Cada autocodificador corresponde a una capa concreta: la 4, la 30 o la 46. Los pesos están organizados por capa y pueden descargarse como archivos independientes.

El trabajo asociado, titulado «SAE Interprets MoE: Sparse AutoEncoders Reveal That MoE Experts Exhibit Human-Interpretable Fine-Grained Specialization», fue enviado a arXiv el 5 de noviembre de 2026 como versión 1. Es un preprint, no una prueba de que el artículo haya pasado revisión por pares. El estudio examina cómo las contribuciones de los expertos del modelo se relacionan con rasgos latentes interpretables.

Un modelo MoE activa solo algunos de sus expertos para procesar cada token. Contar cuántas veces se activa cada experto puede mostrar patrones amplios, pero no indica por sí solo qué parte de la representación aporta cada uno. El método del artículo analiza la salida combinada del bloque y descompone matemáticamente la preactivación de cada rasgo del SAE entre los expertos activos.

El alcance empírico se limita a Qwen3-30B-A3B y a las capas analizadas. El resultado no demuestra que otros modelos MoE organicen sus expertos de la misma manera, ni que las etiquetas interpretables describan de forma completa o causal el comportamiento interno del modelo.

02

Qué contienen los tres SAE

Cada SAE tiene 1.048.576 rasgos latentes y aplica una selección TopK que conserva hasta 100 activaciones positivas por token. Los rasgos no forman un único espacio compartido entre capas: cada checkpoint se entrenó para la salida de una capa específica, por lo que los identificadores de una capa no deben tratarse automáticamente como equivalentes a los de otra.

El SAE recibe la salida sin normalizar del bloque MoE, antes de la suma residual. Su codificador aplica una transformación afín, una función ReLU y la selección TopK. El decodificador combina los rasgos seleccionados para reconstruir una aproximación de la salida original. Por ello, el sistema sirve para analizar y reconstruir activaciones internas; no es un modelo conversacional que genere respuestas por sí solo.

Los archivos de pesos están en formato Safetensors y contienen tensores de punto flotante de 32 bits. Cada archivo ocupa aproximadamente 17,2 GB, además de la memoria necesaria para cargar el modelo base si se desea capturar nuevas activaciones. Una entrada extensa puede requerir procesamiento por segmentos porque el cálculo denso previo a TopK consume memoria por token.

La ficha publica la fracción de varianza no explicada (FVU) de la reconstrucción para cada capa. El valor mide el error de reconstrucción en la configuración evaluada: cuanto menor es, menor es la fracción de varianza que queda sin explicar en ese ensayo. No es una tasa de acierto, una medida de calidad de respuestas ni una comparación general de modelos.

Pesos y cifras de reconstrucción publicadas

Capa de Qwen3-30B-A3BRasgos latentesActivaciones TopK por tokenFVU publicada
41.048.576Hasta 10012,6 %
301.048.576Hasta 10025,1 %
461.048.576Hasta 1007,6 %
03

Cómo se interpreta la especialización de los expertos

El artículo propone medir la especialización en el espacio de rasgos, en vez de asignar expertos a categorías temáticas fijadas de antemano. Como el codificador del SAE es afín y la salida MoE combina las salidas de los expertos activados, la preactivación de cada rasgo puede descomponerse exactamente entre esos expertos, bajo la formulación del trabajo.

Al agregar esas contribuciones sobre un corpus, el análisis identifica para cada experto los rasgos cuya activación impulsa principalmente. El resultado es una relación entre expertos y rasgos dominantes. Esa relación depende de los datos, las capas, la definición de dominancia y los umbrales utilizados; no convierte automáticamente un rasgo en una explicación causal o universal del experto.

En las capas estudiadas, los autores informan que las contribuciones a los rasgos están más concentradas que el patrón de activación del enrutador y que la mayoría de los rasgos tiene uno o dos expertos dominantes. También describen solapamientos concentrados en ciertos pares de expertos. Son resultados del análisis de Qwen3-30B-A3B, no leyes generales sobre arquitecturas MoE.

Para asignar descripciones semánticas a los conjuntos de rasgos, el estudio utiliza interpretación automatizada con un modelo de lenguaje. El repositorio indica que las explicaciones, etiquetas y juicios temáticos publicados se generaron con GPT-5.5. Son salidas de un procedimiento automatizado y pueden contener errores; no equivalen a anotaciones humanas verificadas.

04

Entrenamiento, datos y reproducción

Los SAE se entrenaron de forma independiente con salidas MoE recogidas del corpus de entrenamiento de Olmo 3. La mezcla descrita comprende cinco octavos de datos de preentrenamiento Dolma 3, un cuarto de Dolci-Think-SFT —cadenas de razonamiento— y un octavo de Dolci-Instruct-SFT —seguimiento de instrucciones—. El artículo ofrece detalles de la receta de entrenamiento; la ficha informa unos 3.200 millones de tokens por SAE.

El repositorio del proyecto publica código y datos derivados para reproducir partes del análisis. La estadística de contribución usa un conjunto de validación de aproximadamente 1.500 millones de tokens, separado de los datos usados para entrenar los SAE y compuesto con la misma mezcla de fuentes. El repositorio especifica que los documentos se truncan a 4.096 tokens para ese procesamiento.

La reproducción completa exige recursos de hardware considerables. La documentación del proyecto estima unos 61 GB para Qwen3-30B-A3B en bf16 y otros 8 GB para el codificador SAE fp32 de cada capa rastreada; procesar las tres capas en una pasada requiere dos GPU de 80 GB, según esa configuración documentada. Esas cifras describen el procedimiento del proyecto y no garantizan que cualquier implementación necesite exactamente el mismo hardware.

Algunas etapas dependen además de un servicio compatible con la API de OpenAI para las interpretaciones y clasificaciones automatizadas. El repositorio identifica GPT-5.5 como el modelo empleado en el artículo y advierte que cambiar el modelo puede alterar esos resultados. El código publicado permite reproducir experimentos especificados, pero el repositorio señala que no incluye el flujo completo que reúne contextos activadores y efectos sobre logits para explicar rasgos.

Flujo de análisis descrito por el proyecto

  1. 01Capturar las salidas del bloque MoE en las capas seleccionadas de Qwen3-30B-A3B.
  2. 02Codificar cada salida con el SAE correspondiente y calcular las contribuciones de los expertos a los rasgos activos.
  3. 03Agregar las contribuciones sobre el conjunto de validación y construir relaciones de dominancia entre expertos y rasgos.
  4. 04Interpretar los conjuntos de rasgos y evaluar etiquetas o dominios con las herramientas automatizadas descritas en el proyecto.
05

Límites prácticos y licencia

Las FVU publicadas son cifras atribuidas al artículo en la ficha del modelo. Inferama no ha reproducido esas mediciones, y el material del proyecto no constituye una validación independiente. La FVU evalúa reconstrucción de activaciones en el ensayo informado; no permite concluir que el modelo produzca respuestas más precisas, seguras o útiles.

La relación entre un experto y un conjunto de rasgos aporta una forma de inspeccionar la estructura interna, pero no prueba causalidad. La selección de datos, el umbral para definir dominancia, la capa y el método de interpretación influyen en lo observado. Las descripciones generadas automáticamente requieren evaluación crítica antes de usarse como explicaciones fiables del comportamiento.

Los pesos del SAE y el modelo base se publican bajo Apache License 2.0, según la ficha. Los datos de entrenamiento derivados de Dolma 3, Dolci-Think-SFT y Dolci-Instruct-SFT conservan sus propios términos: el repositorio atribuye a esos conjuntos ODC-BY v1.0. La licencia de los pesos no elimina las condiciones aplicables a esos datos ni a servicios de terceros.

No consta una tarifa oficial de API para estos checkpoints ni una oferta comercial verificada en la documentación considerada. Los pesos descargables no implican ejecución gratuita: el uso requiere almacenamiento, memoria y aceleradores, y la captura de activaciones exige cargar el modelo base. El coste real depende del equipo, del volumen procesado y de si se utilizan servicios externos.

Qué permite concluir cada elemento

ElementoPermite afirmarNo permite afirmar
FVU por capaLa reconstrucción dejó una fracción de varianza sin explicar en el ensayo comunicado.Que esa capa o el modelo tenga una tasa de acierto determinada.
Rasgos dominantes por expertoAlgunos expertos contribuyen principalmente a ciertos rasgos en el análisis realizado.Que la asociación sea causal, exclusiva o válida para otros modelos.
Explicaciones automáticasUn modelo de lenguaje generó etiquetas o descripciones para rasgos y expertos.Que las etiquetas hayan sido confirmadas por anotadores humanos.
Pesos publicadosLos archivos pueden descargarse y utilizarse conforme a sus licencias y requisitos técnicos.Que exista una API oficial, una tarifa publicada o ejecución sin coste de infraestructura.
06

Continúa explorando

Fuentes consultadas

03

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.

Proponer una corrección