Disponibilidade confirmada dos pesos completos
A ByteDance Seed publicou em seu repositório público os pesos completos do Cross-Layer TopK CLT, um modelo de interpretabilidade projetado especificamente para o Qwen3-8B-Base. O repositório inclui os 36 arquivos de codificação (W_enc) e os 36 de decodificação (W_dec), juntamente com os fatores de normalização e a configuração.
O upload foi concluído no final de outubro de 2026, com a maioria dos arquivos carregados entre 3 e 5 de novembro. O conjunto total ocupa 377 GB em formato FP32 e contém 94,2 bilhões de parâmetros. A disponibilidade dos componentes necessários para a codificação e a reconstrução reduz a dependência de versões parciais ou não verificadas.
Componentes do repositório Cross-Layer TopK CLT
Detalhamento dos arquivos essenciais para a execução do transcodificador.
| Arquivo | Conteúdo | Tamanho aproximado |
|---|---|---|
| W_enc_{l}.safetensors | Codificador da camada l: [32768, 4096] | 537 MB por arquivo |
| W_dec_{l}.safetensors | Decodificador da camada l: [32768, 36-l, 4096] | 2,68 GB a 19,3 GB |
| W_dec_norm.safetensors | Normas de colunas do decodificador | 4,72 MB |
| factors.safetensors | Normas médias de ativação (resid_mid, mlp_out) | Pequeno |
Arquitetura e mecanismo de funcionamento
O transcodificador opera como um sistema de recursos latentes compartilhados entre camadas. Cada uma das 36 camadas do Qwen3-8B-Base possui 32.768 latentes que leem o fluxo residual logo antes da camada de normalização pós-atenção (resid_mid) e escrevem nas saídas dos MLPs dessa camada e de todas as camadas posteriores.
O processo de codificação aplica uma função ReLU à projeção do fluxo residual pelo codificador da camada correspondente. Em seguida, calcula-se uma pontuação para cada latente multiplicando sua ativação pela norma de sua coluna de decodificação. O sistema retém os 360 recursos com maior pontuação (36 camadas × k=10) de forma conjunta entre todas as camadas, garantindo uma representação dispersa e global do estado interno do modelo.
Requisitos de infraestrutura e execução
A execução do transcodificador completo requer uma infraestrutura de computação significativa. O modelo foi treinado com ativações em FP32, portanto o modelo base Qwen3-8B-Base deve ser executado também em FP32 para manter a coerência numérica. O armazenamento total de 377 GB exige um sistema com capacidade de disco e memória adequada.
Para a codificação sem reconstrução, é possível excluir os arquivos de decodificação (W_dec), reduzindo a carga de memória. Neste modo, uma única GPU de 80 GB é suficiente para processar os latentes. Para a reconstrução completa das saídas dos MLPs, é necessário distribuir os latentes entre múltiplas GPUs, pois cada GPU armazena uma porção dos 32.768 recursos de cada camada.
Processo de codificação e reconstrução
Passos técnicos para executar o transcodificador sobre uma frase de entrada.
- 01Baixar o checkpoint completo ou apenas os codificadores, conforme o objetivo.
- 02Carregar o Qwen3-8B-Base em FP32 e registrar hooks em resid_mid e mlp_out.
- 03Calcular as ativações dos latentes por meio de ReLU(W_enc · x).
- 04Selecionar os 360 latentes com maior pontuação global (ativação × norma decodificadora).
- 05Reconstruir mlp_out somando as contribuições dos latentes ativos de cada camada.
Licença e condições de uso
Os pesos e o código do Cross-Layer TopK CLT são distribuídos sob a Apache License 2.0, com copyright da ByteDance e/ou suas afiliadas em 2026. Esta licença permite o uso, a modificação e a distribuição comercial, desde que se mantenham os avisos de copyright e se inclua uma cópia da licença nas obras derivadas.
Os dados de treinamento provêm de Dolma 3, Dolci-Think e Dolci-Instruct, misturados em uma proporção de 5:2:1 por tokens (aproximadamente 3,4 bilhões de tokens). Esses conjuntos de dados estão licenciados sob ODC-BY. A combinação de uma licença de código permissiva e dados abertos facilita a integração do transcodificador em pipelines de interpretabilidade sem restrições de uso comercial.
Limites e considerações para a avaliação
A ficha oficial documenta o procedimento de codificação e reconstrução, mas não fornece uma pontuação numérica verificada da qualidade da aproximação. A avaliação da fidelidade do transcodificador deve ser realizada medindo o erro de reconstrução de mlp_out e a sensibilidade à ablação de recursos específicos.
Os tokens cujo resid_mid ou mlp_out atinge 20 vezes a norma média da camada são descartados durante a inferência, tal como ocorreu no treinamento. Na prática, isso afeta principalmente o primeiro token da sequência. Os tamanhos de arquivo e o grau de dispersão dos latentes não são métricas de qualidade em si mesmos, mas características estruturais do modelo.
Continue a explorar
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção