TokenEconomizer reduz custos de agentes de programação em testes da Microsoft
Imagem gerada pela Equipa Editorial da Inferama
01

O que muda com o TokenEconomizer

O TokenEconomizer é um plugin de código aberto que usa a experiência de sessões anteriores do mesmo repositório para reduzir os custos de agentes de programação. Ele não modifica o modelo nem o agente: ajusta as instruções iniciais, as ferramentas disponíveis e a resposta a erros repetidos por meio das interfaces que o agente já oferece.

A Microsoft Research publicou uma apresentação do sistema em 16 de novembro de 2026. Nela, relata uma redução média de custos entre 18,4% e 30,9% em 277 tarefas de correção de bugs do SWE-Bench, avaliadas com cinco combinações de agentes e modelos. Esses resultados são dados relatados pela equipe que desenvolveu o plugin, não uma validação independente.

O problema aparece quando um agente volta várias vezes ao mesmo projeto. Cada sessão pode reenviar instruções, descrições de ferramentas e partes do histórico ao modelo. Se o agente redescobre como executar os testes ou carrega ferramentas que nunca utiliza, esse trabalho repetido pode aumentar o consumo de tokens e os custos.

02

Três mecanismos para aproveitar a experiência

Depois de cada sessão, o TokenEconomizer analisa o registro e atualiza os dados associados ao repositório. Em sessões futuras, pode aplicar três mecanismos: micro-habilidades, poda de ferramentas e intervenção em ciclos de falhas. O sistema foi concebido para rever suas decisões quando surgem novos dados.

As micro-habilidades são notas curtas sobre o projeto, como um comando de teste que aparece repetidamente. O TokenEconomizer propõe essas notas com base nos padrões observados e só as adiciona ao contexto inicial depois que várias sessões confirmam o padrão. Se dados posteriores contradisserem uma nota, o sistema poderá removê-la.

A poda de ferramentas exclui de sessões futuras as ferramentas que, segundo o histórico do repositório, provavelmente não serão usadas. As ferramentas essenciais para executar comandos e editar arquivos são mantidas, e as ferramentas excluídas podem ser restauradas. Isso pode reduzir o texto enviado a cada turno, embora o resultado dependa do custo desse texto e de como o provedor cobra o uso do cache.

A intervenção em falhas repetidas usa um modelo avaliador para determinar se o agente está travado ou continua avançando. Se o avaliador considerar que há um bloqueio, o agente recebe uma nota breve sugerindo outra abordagem. Na versão descrita pela Microsoft Research, se o bloqueio persistir, o TokenEconomizer avisa o desenvolvedor: não interrompe o trabalho por conta própria.

Mecanismos e funções

MecanismoO que fazLimite relevante
Micro-habilidadesAdiciona notas curtas sobre padrões do repositório confirmados por sessões anteriores.As informações podem ficar desatualizadas e devem poder ser revistas ou removidas.
Poda de ferramentasOculta ferramentas que o histórico indica que provavelmente não serão necessárias.As ferramentas essenciais são mantidas; as excluídas podem ser restauradas.
Intervenção em falhasPede a um modelo avaliador que determine se o agente está travado e, se for o caso, sugere outra abordagem.A intervenção descrita não interrompe o trabalho automaticamente.
03

Resultados relatados na avaliação

A avaliação principal abrangeu 277 tarefas do SWE-Bench em seis repositórios e cinco combinações de agentes e modelos. Em cada repositório, o TokenEconomizer começou sem histórico anterior. A Microsoft Research relata uma redução média de custos entre 18,4% e 30,9% em comparação com a configuração padrão; o custo inclui as chamadas feitas pelo próprio plugin.

A taxa Pass@1 — a proporção de tarefas resolvidas na primeira tentativa avaliada — aumentou em quatro das cinco combinações. A Microsoft Research descreve o desempenho geral como amplamente estável. Essa formulação não garante que a qualidade se mantenha igual em todas as configurações nem permite concluir que cada tarefa individual tenha melhorado.

A economia também não aparece necessariamente desde a primeira tarefa. Os autores afirmam que as tarefas iniciais podem custar mais enquanto o TokenEconomizer aprende e que, na avaliação, o custo acumulado ficou abaixo do padrão em cada repositório ao chegar à sexta tarefa. Esse padrão corresponde aos repositórios e às tarefas testados, não é uma regra universal.

A publicação também relata resultados em outros cenários: no Web-Bench, uma avaliação de desenvolvimento web sequencial, o custo foi de 16,0% a 21,2% menor. Em auditorias de segurança, nas quais cada tarefa foi realizada em um repositório novo, a redução relatada ficou entre 6,4% e 19,6%. As oportunidades de reutilizar experiência também mudam de um cenário para outro.

Resultados relatados pela Microsoft Research

AvaliaçãoResultado relatadoEscopo
SWE-BenchEconomia média de 18,4% a 30,9%.277 tarefas, seis repositórios e cinco combinações de agentes e modelos.
Pass@1 no SWE-BenchAumentou em quatro das cinco combinações.Mede a proporção de tarefas resolvidas na primeira tentativa avaliada.
Web-BenchEconomia de 16,0% a 21,2%.Teste de desenvolvimento web sequencial.
Auditorias de segurançaEconomia de 6,4% a 19,6%.Tarefas em repositórios novos, com menos experiência reutilizável.
04

Como interpretar as evidências

A publicação da Microsoft Research apresenta resultados de um projeto que envolve Microsoft Research, Microsoft Security e a Universidade da Califórnia em Berkeley. A avaliação sustenta que os autores observaram economias nos testes que realizaram; por si só, não demonstra que o mesmo efeito se repetirá em outros ambientes. A página inclui links para o artigo técnico e o código, mas as informações resumidas aqui não comprovam uma replicação independente.

A economia mede custos, não tempo de execução. Os resultados relatados tampouco permitem afirmar que o TokenEconomizer garanta código correto, menos erros ou desempenho idêntico em todos os casos. A Pass@1 aumentou em quatro combinações, mas essa métrica não descreve por completo a qualidade do código, o tempo gasto nem outros aspectos do trabalho do agente.

A experiência acumulada no repositório é central para o método. Se cada tarefa ocorre em um projeto diferente, o sistema tem menos oportunidades de aprender padrões reutilizáveis. Se o histórico inicial é curto, o aprendizado pode demorar a compensar o custo de preparação. Os números do SWE-Bench não devem ser aplicados diretamente a trabalhos interativos, repositórios privados ou equipes com configurações diferentes.

O resultado deve ser entendido como uma avaliação específica de custos e sucesso em tarefas, não como uma garantia geral de economia. Para avaliar uma instalação em um repositório próprio, vale comparar o custo de tarefas equivalentes com e sem o plugin, repetir a configuração de referência e manter constantes o modelo, o agente e as condições de execução.

05

O que medir em um repositório próprio

Uma comparação útil começa por definir o que conta como tarefa concluída e registrar o custo de cada sessão. Manter o mesmo agente, modelo e solicitação tanto na configuração de referência quanto naquela que usa o TokenEconomizer ajuda a tornar as diferenças interpretáveis. Também vale repetir as tarefas, porque os custos podem variar entre execuções.

O período de aprendizado importa: um teste encerrado depois da primeira sessão não mede o mesmo comportamento que uma série de tarefas no mesmo repositório. Registrar o custo acumulado ajuda a distinguir o gasto inicial do efeito posterior, sem pressupor que a economia observada em uma avaliação também ocorrerá em outro projeto.

A métrica de custo deve ser acompanhada por uma verificação dos resultados. Gastar menos não basta se as tarefas deixam de ser resolvidas ou se o resultado importante para a equipe piora. Registrar o custo e o sucesso de cada tarefa permite identificar compromissos entre eficiência e desempenho, em vez de tratar a redução de tokens como sinônimo de um resultado melhor.

Comparação prática

Uma avaliação local pode ser organizada como uma comparação controlada entre duas configurações.

  1. 01Escolha tarefas representativas do repositório e defina antecipadamente qual resultado será considerado correto.
  2. 02Execute cada tarefa com a configuração habitual e com o TokenEconomizer, mantendo iguais o agente, o modelo e as demais condições relevantes.
  3. 03Repita a configuração de referência para observar quanto o custo varia sem o plugin.
  4. 04Registre, para cada tarefa, o custo e se o resultado atende ao critério definido; calcule também o custo acumulado à medida que o sistema aprende.
  5. 05Interprete a economia junto com os resultados das tarefas e o período de aprendizado; não extrapole a porcentagem para outros repositórios sem medi-los.
06

Disponibilidade e limites práticos

A Microsoft Research descreve o TokenEconomizer como um plugin de código aberto que funciona junto a agentes de programação existentes, sem modificar os modelos subjacentes. Ele não exige uma chave de API própria e mantém na máquina do desenvolvedor o que aprende. As chamadas do plugin ao modelo podem gerar consumo por meio do agente utilizado; por isso, o custo dessas chamadas faz parte do cálculo relatado pelos autores.

A publicação apresenta o projeto como uma opção para explorar como a experiência acumulada em um repositório pode ajudar a reduzir trabalho redundante. O benefício depende das tarefas, do histórico acumulado e da configuração. Os números publicados não garantem a mesma economia em todos os agentes ou tarefas, e a fonte primária não comprova uma verificação independente dos resultados.

Na prática, a decisão não depende apenas de observar a porcentagem média. Também importam a repetição de tarefas no mesmo repositório, o tempo necessário para acumular experiência e se os custos economizados compensam chamadas adicionais e ajustes necessários. Uma medição local pode esclarecer esses pontos sem pressupor que o resultado do SWE-Bench se aplique automaticamente ao trabalho cotidiano.

07

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção