O que muda com o TokenEconomizer
O TokenEconomizer é um plugin de código aberto que usa a experiência de sessões anteriores do mesmo repositório para reduzir os custos de agentes de programação. Ele não modifica o modelo nem o agente: ajusta as instruções iniciais, as ferramentas disponíveis e a resposta a erros repetidos por meio das interfaces que o agente já oferece.
A Microsoft Research publicou uma apresentação do sistema em 16 de novembro de 2026. Nela, relata uma redução média de custos entre 18,4% e 30,9% em 277 tarefas de correção de bugs do SWE-Bench, avaliadas com cinco combinações de agentes e modelos. Esses resultados são dados relatados pela equipe que desenvolveu o plugin, não uma validação independente.
O problema aparece quando um agente volta várias vezes ao mesmo projeto. Cada sessão pode reenviar instruções, descrições de ferramentas e partes do histórico ao modelo. Se o agente redescobre como executar os testes ou carrega ferramentas que nunca utiliza, esse trabalho repetido pode aumentar o consumo de tokens e os custos.
Três mecanismos para aproveitar a experiência
Depois de cada sessão, o TokenEconomizer analisa o registro e atualiza os dados associados ao repositório. Em sessões futuras, pode aplicar três mecanismos: micro-habilidades, poda de ferramentas e intervenção em ciclos de falhas. O sistema foi concebido para rever suas decisões quando surgem novos dados.
As micro-habilidades são notas curtas sobre o projeto, como um comando de teste que aparece repetidamente. O TokenEconomizer propõe essas notas com base nos padrões observados e só as adiciona ao contexto inicial depois que várias sessões confirmam o padrão. Se dados posteriores contradisserem uma nota, o sistema poderá removê-la.
A poda de ferramentas exclui de sessões futuras as ferramentas que, segundo o histórico do repositório, provavelmente não serão usadas. As ferramentas essenciais para executar comandos e editar arquivos são mantidas, e as ferramentas excluídas podem ser restauradas. Isso pode reduzir o texto enviado a cada turno, embora o resultado dependa do custo desse texto e de como o provedor cobra o uso do cache.
A intervenção em falhas repetidas usa um modelo avaliador para determinar se o agente está travado ou continua avançando. Se o avaliador considerar que há um bloqueio, o agente recebe uma nota breve sugerindo outra abordagem. Na versão descrita pela Microsoft Research, se o bloqueio persistir, o TokenEconomizer avisa o desenvolvedor: não interrompe o trabalho por conta própria.
Mecanismos e funções
| Mecanismo | O que faz | Limite relevante |
|---|---|---|
| Micro-habilidades | Adiciona notas curtas sobre padrões do repositório confirmados por sessões anteriores. | As informações podem ficar desatualizadas e devem poder ser revistas ou removidas. |
| Poda de ferramentas | Oculta ferramentas que o histórico indica que provavelmente não serão necessárias. | As ferramentas essenciais são mantidas; as excluídas podem ser restauradas. |
| Intervenção em falhas | Pede a um modelo avaliador que determine se o agente está travado e, se for o caso, sugere outra abordagem. | A intervenção descrita não interrompe o trabalho automaticamente. |
Resultados relatados na avaliação
A avaliação principal abrangeu 277 tarefas do SWE-Bench em seis repositórios e cinco combinações de agentes e modelos. Em cada repositório, o TokenEconomizer começou sem histórico anterior. A Microsoft Research relata uma redução média de custos entre 18,4% e 30,9% em comparação com a configuração padrão; o custo inclui as chamadas feitas pelo próprio plugin.
A taxa Pass@1 — a proporção de tarefas resolvidas na primeira tentativa avaliada — aumentou em quatro das cinco combinações. A Microsoft Research descreve o desempenho geral como amplamente estável. Essa formulação não garante que a qualidade se mantenha igual em todas as configurações nem permite concluir que cada tarefa individual tenha melhorado.
A economia também não aparece necessariamente desde a primeira tarefa. Os autores afirmam que as tarefas iniciais podem custar mais enquanto o TokenEconomizer aprende e que, na avaliação, o custo acumulado ficou abaixo do padrão em cada repositório ao chegar à sexta tarefa. Esse padrão corresponde aos repositórios e às tarefas testados, não é uma regra universal.
A publicação também relata resultados em outros cenários: no Web-Bench, uma avaliação de desenvolvimento web sequencial, o custo foi de 16,0% a 21,2% menor. Em auditorias de segurança, nas quais cada tarefa foi realizada em um repositório novo, a redução relatada ficou entre 6,4% e 19,6%. As oportunidades de reutilizar experiência também mudam de um cenário para outro.
Resultados relatados pela Microsoft Research
| Avaliação | Resultado relatado | Escopo |
|---|---|---|
| SWE-Bench | Economia média de 18,4% a 30,9%. | 277 tarefas, seis repositórios e cinco combinações de agentes e modelos. |
| Pass@1 no SWE-Bench | Aumentou em quatro das cinco combinações. | Mede a proporção de tarefas resolvidas na primeira tentativa avaliada. |
| Web-Bench | Economia de 16,0% a 21,2%. | Teste de desenvolvimento web sequencial. |
| Auditorias de segurança | Economia de 6,4% a 19,6%. | Tarefas em repositórios novos, com menos experiência reutilizável. |
Como interpretar as evidências
A publicação da Microsoft Research apresenta resultados de um projeto que envolve Microsoft Research, Microsoft Security e a Universidade da Califórnia em Berkeley. A avaliação sustenta que os autores observaram economias nos testes que realizaram; por si só, não demonstra que o mesmo efeito se repetirá em outros ambientes. A página inclui links para o artigo técnico e o código, mas as informações resumidas aqui não comprovam uma replicação independente.
A economia mede custos, não tempo de execução. Os resultados relatados tampouco permitem afirmar que o TokenEconomizer garanta código correto, menos erros ou desempenho idêntico em todos os casos. A Pass@1 aumentou em quatro combinações, mas essa métrica não descreve por completo a qualidade do código, o tempo gasto nem outros aspectos do trabalho do agente.
A experiência acumulada no repositório é central para o método. Se cada tarefa ocorre em um projeto diferente, o sistema tem menos oportunidades de aprender padrões reutilizáveis. Se o histórico inicial é curto, o aprendizado pode demorar a compensar o custo de preparação. Os números do SWE-Bench não devem ser aplicados diretamente a trabalhos interativos, repositórios privados ou equipes com configurações diferentes.
O resultado deve ser entendido como uma avaliação específica de custos e sucesso em tarefas, não como uma garantia geral de economia. Para avaliar uma instalação em um repositório próprio, vale comparar o custo de tarefas equivalentes com e sem o plugin, repetir a configuração de referência e manter constantes o modelo, o agente e as condições de execução.
O que medir em um repositório próprio
Uma comparação útil começa por definir o que conta como tarefa concluída e registrar o custo de cada sessão. Manter o mesmo agente, modelo e solicitação tanto na configuração de referência quanto naquela que usa o TokenEconomizer ajuda a tornar as diferenças interpretáveis. Também vale repetir as tarefas, porque os custos podem variar entre execuções.
O período de aprendizado importa: um teste encerrado depois da primeira sessão não mede o mesmo comportamento que uma série de tarefas no mesmo repositório. Registrar o custo acumulado ajuda a distinguir o gasto inicial do efeito posterior, sem pressupor que a economia observada em uma avaliação também ocorrerá em outro projeto.
A métrica de custo deve ser acompanhada por uma verificação dos resultados. Gastar menos não basta se as tarefas deixam de ser resolvidas ou se o resultado importante para a equipe piora. Registrar o custo e o sucesso de cada tarefa permite identificar compromissos entre eficiência e desempenho, em vez de tratar a redução de tokens como sinônimo de um resultado melhor.
Comparação prática
Uma avaliação local pode ser organizada como uma comparação controlada entre duas configurações.
- 01Escolha tarefas representativas do repositório e defina antecipadamente qual resultado será considerado correto.
- 02Execute cada tarefa com a configuração habitual e com o TokenEconomizer, mantendo iguais o agente, o modelo e as demais condições relevantes.
- 03Repita a configuração de referência para observar quanto o custo varia sem o plugin.
- 04Registre, para cada tarefa, o custo e se o resultado atende ao critério definido; calcule também o custo acumulado à medida que o sistema aprende.
- 05Interprete a economia junto com os resultados das tarefas e o período de aprendizado; não extrapole a porcentagem para outros repositórios sem medi-los.
Disponibilidade e limites práticos
A Microsoft Research descreve o TokenEconomizer como um plugin de código aberto que funciona junto a agentes de programação existentes, sem modificar os modelos subjacentes. Ele não exige uma chave de API própria e mantém na máquina do desenvolvedor o que aprende. As chamadas do plugin ao modelo podem gerar consumo por meio do agente utilizado; por isso, o custo dessas chamadas faz parte do cálculo relatado pelos autores.
A publicação apresenta o projeto como uma opção para explorar como a experiência acumulada em um repositório pode ajudar a reduzir trabalho redundante. O benefício depende das tarefas, do histórico acumulado e da configuração. Os números publicados não garantem a mesma economia em todos os agentes ou tarefas, e a fonte primária não comprova uma verificação independente dos resultados.
Na prática, a decisão não depende apenas de observar a porcentagem média. Também importam a repetição de tarefas no mesmo repositório, o tempo necessário para acumular experiência e se os custos economizados compensam chamadas adicionais e ajustes necessários. Uma medição local pode esclarecer esses pontos sem pressupor que o resultado do SWE-Bench se aplique automaticamente ao trabalho cotidiano.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção