B
BYTEDANCE SEED / ByteDance-Seed/Qwen3-30B-A3B-MoE-SAE

Qwen3-30B-A3B MoE-Output SAE

Tres autocodificadores TopK de ByteDance Seed para analizar la salida de bloques MoE de Qwen3-30B-A3B. Los pesos y el trabajo técnico son del 5 de noviembre. Cada capa tiene un checkpoint propio con 1.048.576 rasgos latentes, de los que se seleccionan hasta 100 por token.

01 / RESUMEN

Lo esencial

ORIENTACIÓNAutocodificadores dispersos por capa

Uso principal declarado o inferido con cautela desde la documentación oficial.

CONTEXTOCapas 4, 30 y 46 de Qwen3-30B-A3B

Capacidad máxima de entrada cuando la fuente la publica.

SALIDA100 rasgos activos por token y por autocodificador

Límite máximo de generación documentado.

ACCESOHugging Face · checkpoint descargable

Canales de disponibilidad verificados.

TIPO DE MODELOInterpretabilidad

Familia funcional principal y especialidades verificadas.

LICENCIAApache 2.0

Condiciones declaradas para API, pesos o despliegue propio.

02 / FICHA TÉCNICA

Límites e integración

ID de APIByteDance-Seed/Qwen3-30B-A3B-MoE-SAE
Tipo de modeloInterpretabilidad
Modelo de accesoPesos abiertos
LicenciaApache 2.0
DespliegueDespliegue propio
Lanzamiento05 NOV 2026
Corte de conocimientoNo publicado
EntradaActivaciones internas
SalidaRasgos latentes · Activaciones reconstruidas
Ventana de contextoCapas 4, 30 y 46 de Qwen3-30B-A3B
Salida máxima100 rasgos activos por token y por autocodificador
RazonamientoNo publicado
Herramientas publicadas
Salidas estructuradasNo publicado
Procesamiento por lotesNo publicado
Caché de promptsNo publicado
Ajuste finoNo publicado
Plataformas verificadasHugging Face · PyTorch
ENCAJA MEJOR EN

Estudiar qué expertos contribuyen a rasgos concretos y cuantificar el error al reconstruir activaciones. Se agrupan los tres checkpoints por capa en una ficha. No sustituyen al modelo base, no generan texto y no constituyen un servicio de embeddings para documentos.

CONVIENE VIGILAR

Cada archivo de pesos ocupa aproximadamente 17,2 GB en FP32, además de la memoria del modelo base. Las capas no comparten un espacio latente intercambiable. Una entrada larga puede requerir procesamiento por segmentos. Las atribuciones observadas no prueban por sí solas causalidad.

03 / CAPACIDADES

Qué puede hacer

01

Orientación

Estudiar qué expertos contribuyen a rasgos concretos y cuantificar el error al reconstruir activaciones. Se agrupan los tres checkpoints por capa en una ficha. No sustituyen al modelo base, no generan texto y no constituyen un servicio de embeddings para documentos.

02

Contexto

Capas 4, 30 y 46 de Qwen3-30B-A3B · 100 rasgos activos por token y por autocodificador

03

Herramientas e integración

No publicado

04

Acceso

Hugging Face · checkpoint descargable

Modalidades de entrada
Activaciones internas
04 / PRECIOS

Coste documentado

ConceptoValorUnidad / condición
Entrada estándarSin tarifa API oficial publicadaTarifa estándar de API
Entrada en cachéNo publicadoLectura de prefijos reutilizados
Escritura o almacenamiento de cachéNo publicadoLa condición varía según proveedor
Salida estándarCoste de infraestructura propiaPuede incluir tokens de razonamiento
Entrada por lotesNo publicadoProcesamiento asíncrono
Salida por lotesNo publicadoProcesamiento asíncrono

No se ha verificado una API comercial para este checkpoint. La descarga de pesos no cubre el coste de almacenamiento, aceleradores, memoria ni operación.

i Los precios cambian y pueden depender del nivel, la región o la longitud del contexto. Revisa la fuente antes de tomar una decisión.

05 / EVALUACIONES

Cómo leer los resultados

“

ByteDance informa 12,6 %, 25,1 % y 7,6 % de varianza no explicada para las capas 4, 30 y 46, respectivamente. Un valor menor indica mejor reconstrucción en ese ensayo. No son tasas de acierto de tareas ni permiten clasificar modelos de chat. Inferama no ha reproducido esas mediciones.

BenchmarkResultadoMétricaFuente
Qwen3 MoE SAE FVU (layer 4)12,6 %Menor es mejorVer fuente ↗
Qwen3 MoE SAE FVU (layer 30)25,1 %Menor es mejorVer fuente ↗
Qwen3 MoE SAE FVU (layer 46)7,6 %Menor es mejorVer fuente ↗

Inferama solo destaca un «mejor resultado» cuando la métrica, el conjunto de prueba, la configuración y la fecha permiten una comparación equivalente. Las cifras del proveedor se presentan como afirmaciones de su propia fuente.

06 / VERSIONES

Cronología

Qwen3-30B-A3B MoE-Output SAE

Versión incorporada al catálogo verificado de Inferama.

07 / FUENTES

Trazabilidad