RAQ-MLA adapta a quantização ao cache de atenção latente e relata 2,5 bits por elemento

Um cache diferente exige uma quantização diferente

O cache de chaves e valores (KV) guarda informações que o modelo reutiliza ao gerar cada token. Na atenção padrão, ele costuma conservar chaves e valores por cabeça. Já a Multi-Head Latent Attention (MLA) armazena um latente KV comprimido, que depois é projetado para produzir chaves e valores durante a decodificação, além de uma chave posicional mais estreita, que incorpora informações de posição à pontuação de atenção.

Essa diferença importa quando se reduz a precisão numérica para economizar memória. O resumo do trabalho afirma que os métodos de quantização concebidos para chaves e valores convencionais não consideram diretamente o que cada tensor armazenado na MLA representa, o que pode prejudicar a precisão em baixas quantidades de bits. RAQ-MLA é proposto como resposta a essa diferença estrutural; isso não demonstra que qualquer cache MLA se beneficiará da mesma forma.

A função de cada tensor orienta o método

Os autores descrevem duas funções distintas no cache MLA: o latente fornece principalmente os valores, enquanto a chave posicional predomina na pontuação de atenção. Por isso, o erro de quantização não é avaliado como se os dois componentes fossem intercambiáveis. Na formulação resumida, o ajuste do latente considera o erro de valor ponderado pela atenção; o da chave posicional considera a perturbação que ela introduz nas pontuações.

RAQ-MLA ajusta uma transformação invertível para cada tensor. A ideia é direcionar a quantização para o efeito que os erros daquele tensor exercem sobre a saída da atenção, em vez de aplicar sem adaptação uma estratégia concebida para outra representação. O resumo informa que o procedimento não requer treinamento. Isso não significa que o método dispense computação, calibração ou decisões de implementação: esses detalhes não são especificados nas informações disponíveis.

O que significam os números relatados

O resumo do preprint afirma que RAQ-MLA quantiza o cache MLA completo a cerca de 2,5 bits por elemento e que isso equivale a um aumento de 6,5 vezes na capacidade teórica do cache KV. Também descreve os resultados em tarefas de raciocínio e programação como “quase sem perda” em quatro modelos MLA. São números e caracterizações declarados pelos autores do trabalho, não uma verificação independente.

A capacidade teórica não equivale automaticamente à mesma redução da memória total nem a uma melhora proporcional da velocidade. O resultado prático depende de como os valores são armazenados e empacotados, da precisão adicional exigida pelo sistema e de outros usos de memória. Da mesma forma, “quase sem perda” precisa ser interpretado em conjunto com as tarefas, métricas, referências e margens específicas. O resumo consultado não detalha esses elementos, portanto não permite avaliar aqui a magnitude ou a consistência da diferença.

O que a proposta acrescenta à quantização convencional

A contribuição descrita não consiste simplesmente em reduzir a quantidade de bits. O método parte da estrutura da MLA e de como os erros nos seus componentes afetam a saída da atenção. Essa adaptação é relevante porque aplicar a um latente comprimido e a uma chave posicional uma quantização concebida para chaves e valores padrão pode ignorar diferenças importantes entre as representações.

No entanto, o resumo disponível não permite comparar RAQ-MLA com métodos específicos em condições idênticas. Não informa quais alternativas foram usadas como referência, quais precisões foram comparadas em cada caso nem quais métricas de qualidade foram adotadas. Portanto, a motivação do método está descrita, mas as informações consultadas não permitem quantificar sua vantagem relativa diante de cada referência.

Um resultado preliminar, não uma garantia de produção

A fonte primária disponível é a página do arXiv de um trabalho enviado em 24 de outubro de 2026. As informações consultadas o apresentam como preprint; não há nelas confirmação de revisão por pares, replicação independente ou validação em produção. O resumo informa que os autores avaliaram o método sem treinamento em tarefas de raciocínio e programação em quatro modelos MLA, mas não identifica os modelos, conjuntos de dados ou métricas.

Para avaliar a utilidade em um sistema real, são necessários mais detalhes do que os incluídos nesse resumo: resultados discriminados, comparações, comportamento em cargas representativas e medições de memória e desempenho em uma implementação concreta. As informações consultadas também não estabelecem se há código ou artefatos públicos suficientes para repetir os experimentos. Essas limitações não refutam os resultados relatados; delimitam o que se pode concluir a partir da evidência disponível.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.