ByteDance Seed publica o transcodificador Cross-Layer TopK CLT para Qwen3-8B-Base
Imagem gerada pela Equipa Editorial da Inferama
01

Disponibilidade confirmada dos pesos completos

A ByteDance Seed publicou em seu repositório público os pesos completos do Cross-Layer TopK CLT, um modelo de interpretabilidade projetado especificamente para o Qwen3-8B-Base. O repositório inclui os 36 arquivos de codificação (W_enc) e os 36 de decodificação (W_dec), juntamente com os fatores de normalização e a configuração.

O upload foi concluído no final de outubro de 2026, com a maioria dos arquivos carregados entre 3 e 5 de novembro. O conjunto total ocupa 377 GB em formato FP32 e contém 94,2 bilhões de parâmetros. A disponibilidade dos componentes necessários para a codificação e a reconstrução reduz a dependência de versões parciais ou não verificadas.

Componentes do repositório Cross-Layer TopK CLT

Detalhamento dos arquivos essenciais para a execução do transcodificador.

ArquivoConteúdoTamanho aproximado
W_enc_{l}.safetensorsCodificador da camada l: [32768, 4096]537 MB por arquivo
W_dec_{l}.safetensorsDecodificador da camada l: [32768, 36-l, 4096]2,68 GB a 19,3 GB
W_dec_norm.safetensorsNormas de colunas do decodificador4,72 MB
factors.safetensorsNormas médias de ativação (resid_mid, mlp_out)Pequeno
02

Arquitetura e mecanismo de funcionamento

O transcodificador opera como um sistema de recursos latentes compartilhados entre camadas. Cada uma das 36 camadas do Qwen3-8B-Base possui 32.768 latentes que leem o fluxo residual logo antes da camada de normalização pós-atenção (resid_mid) e escrevem nas saídas dos MLPs dessa camada e de todas as camadas posteriores.

O processo de codificação aplica uma função ReLU à projeção do fluxo residual pelo codificador da camada correspondente. Em seguida, calcula-se uma pontuação para cada latente multiplicando sua ativação pela norma de sua coluna de decodificação. O sistema retém os 360 recursos com maior pontuação (36 camadas × k=10) de forma conjunta entre todas as camadas, garantindo uma representação dispersa e global do estado interno do modelo.

03

Requisitos de infraestrutura e execução

A execução do transcodificador completo requer uma infraestrutura de computação significativa. O modelo foi treinado com ativações em FP32, portanto o modelo base Qwen3-8B-Base deve ser executado também em FP32 para manter a coerência numérica. O armazenamento total de 377 GB exige um sistema com capacidade de disco e memória adequada.

Para a codificação sem reconstrução, é possível excluir os arquivos de decodificação (W_dec), reduzindo a carga de memória. Neste modo, uma única GPU de 80 GB é suficiente para processar os latentes. Para a reconstrução completa das saídas dos MLPs, é necessário distribuir os latentes entre múltiplas GPUs, pois cada GPU armazena uma porção dos 32.768 recursos de cada camada.

Processo de codificação e reconstrução

Passos técnicos para executar o transcodificador sobre uma frase de entrada.

  1. 01Baixar o checkpoint completo ou apenas os codificadores, conforme o objetivo.
  2. 02Carregar o Qwen3-8B-Base em FP32 e registrar hooks em resid_mid e mlp_out.
  3. 03Calcular as ativações dos latentes por meio de ReLU(W_enc · x).
  4. 04Selecionar os 360 latentes com maior pontuação global (ativação × norma decodificadora).
  5. 05Reconstruir mlp_out somando as contribuições dos latentes ativos de cada camada.
04

Licença e condições de uso

Os pesos e o código do Cross-Layer TopK CLT são distribuídos sob a Apache License 2.0, com copyright da ByteDance e/ou suas afiliadas em 2026. Esta licença permite o uso, a modificação e a distribuição comercial, desde que se mantenham os avisos de copyright e se inclua uma cópia da licença nas obras derivadas.

Os dados de treinamento provêm de Dolma 3, Dolci-Think e Dolci-Instruct, misturados em uma proporção de 5:2:1 por tokens (aproximadamente 3,4 bilhões de tokens). Esses conjuntos de dados estão licenciados sob ODC-BY. A combinação de uma licença de código permissiva e dados abertos facilita a integração do transcodificador em pipelines de interpretabilidade sem restrições de uso comercial.

05

Limites e considerações para a avaliação

A ficha oficial documenta o procedimento de codificação e reconstrução, mas não fornece uma pontuação numérica verificada da qualidade da aproximação. A avaliação da fidelidade do transcodificador deve ser realizada medindo o erro de reconstrução de mlp_out e a sensibilidade à ablação de recursos específicos.

Os tokens cujo resid_mid ou mlp_out atinge 20 vezes a norma média da camada são descartados durante a inferência, tal como ocorreu no treinamento. Na prática, isso afeta principalmente o primeiro token da sequência. Os tamanhos de arquivo e o grau de dispersão dos latentes não são métricas de qualidade em si mesmos, mas características estruturais do modelo.

06

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção