Che cosa cambia con TokenEconomizer
TokenEconomizer è un plugin open source che riutilizza l’esperienza delle sessioni precedenti nello stesso repository per ridurre i costi degli agenti di programmazione. Non modifica il modello né l’agente: interviene sulle istruzioni iniziali, sugli strumenti disponibili e sulla risposta agli errori ripetuti, tramite le interfacce già offerte dall’agente.
Microsoft Research ha pubblicato una presentazione del sistema il 16 novembre 2026. Vi riferisce un risparmio medio compreso tra il 18,4% e il 30,9% in 277 attività di correzione di bug di SWE-Bench, valutate con cinque combinazioni di agenti e modelli. Si tratta di risultati dichiarati dal team che ha sviluppato il plugin, non di una verifica indipendente.
Il problema affrontato si presenta quando un agente torna più volte sullo stesso progetto. Ogni sessione può inviare nuovamente al modello istruzioni, descrizioni degli strumenti e parti della cronologia. Se l’agente deve riscoprire come eseguire i test o carica strumenti che non usa mai, questo lavoro ripetuto può aumentare il consumo di token e i costi.
Tre meccanismi per riutilizzare l’esperienza
Dopo ogni sessione, TokenEconomizer analizza il relativo registro e aggiorna le informazioni associate al repository. Nelle sessioni successive può applicare tre meccanismi: micro-skill, potatura degli strumenti e intervento in caso di cicli di errori. Il sistema è progettato per rivedere le proprie decisioni quando arrivano nuovi dati.
Le micro-skill sono brevi note sul progetto, come un comando di test che ricorre nelle sessioni. TokenEconomizer propone le note sulla base di schemi osservati e le aggiunge al contesto iniziale solo dopo che più sessioni hanno confermato lo schema. Se informazioni successive contraddicono una nota, il sistema può rimuoverla.
La potatura degli strumenti esclude dalle sessioni future quelli che, stando alla cronologia del repository, probabilmente non saranno usati. Gli strumenti di base per eseguire comandi e modificare file rimangono disponibili; è possibile ripristinare quelli esclusi. Questo può ridurre il testo inviato a ogni turno, ma l’effetto dipende dal costo di quel testo e dal modo in cui il fornitore applica i prezzi della cache.
L’intervento in caso di errori ripetuti usa un modello valutatore per stabilire se l’agente è bloccato o sta ancora facendo progressi. Se il valutatore rileva un blocco, l’agente riceve una breve nota che suggerisce un approccio diverso. Nella versione descritta da Microsoft Research, se il blocco persiste TokenEconomizer avvisa lo sviluppatore: non interrompe il lavoro autonomamente.
Meccanismi e funzioni
| Meccanismo | Che cosa fa | Limite rilevante |
|---|---|---|
| Micro-skill | Aggiunge brevi note sugli schemi del repository confermati dalle sessioni precedenti. | Le informazioni possono diventare obsolete e devono poter essere controllate o rimosse. |
| Potatura degli strumenti | Nasconde gli strumenti che, in base alla cronologia, probabilmente non servono. | Gli strumenti di base restano disponibili; quelli esclusi possono essere ripristinati. |
| Intervento in caso di errori | Chiede a un modello valutatore di stabilire se l’agente è bloccato e, se opportuno, suggerisce un approccio diverso. | L’intervento descritto non interrompe automaticamente il lavoro. |
I risultati comunicati dalla valutazione
La valutazione principale ha riguardato 277 attività di SWE-Bench in sei repository e cinque combinazioni di agente e modello. Per ogni repository, TokenEconomizer è partito senza una cronologia precedente. Microsoft Research riferisce una riduzione media dei costi compresa tra il 18,4% e il 30,9% rispetto alla configurazione predefinita; il calcolo comprende le chiamate effettuate dal plugin stesso.
Il tasso Pass@1 — la percentuale di attività risolte al primo tentativo valutato — è aumentato in quattro delle cinque combinazioni. Microsoft Research descrive le prestazioni complessive come sostanzialmente stabili. Questa formulazione non garantisce che la qualità resti invariata in ogni configurazione e non consente di concludere che ogni singola attività migliori.
Il risparmio non si manifesta necessariamente fin dalla prima attività. Gli autori indicano che le attività iniziali possono costare di più mentre TokenEconomizer apprende e che, nella loro valutazione, in tutti i repository il costo cumulativo è sceso sotto il valore predefinito entro la sesta attività. Questo andamento riguarda i repository e le attività testati, non è una regola universale.
La pubblicazione riferisce anche risultati in altri scenari: in Web-Bench, una valutazione di sviluppo web sequenziale, il costo è stato inferiore dal 16,0% al 21,2%. Negli audit di sicurezza, in cui ogni attività si è svolta in un nuovo repository, la riduzione dichiarata è stata compresa tra il 6,4% e il 19,6%. Cambiando scenario cambiano anche le opportunità di riutilizzare l’esperienza.
Risultati comunicati da Microsoft Research
| Valutazione | Risultato comunicato | Ambito |
|---|---|---|
| SWE-Bench | Risparmio medio dal 18,4% al 30,9%. | 277 attività, sei repository e cinque combinazioni di agente e modello. |
| Pass@1 in SWE-Bench | Aumento in quattro combinazioni su cinque. | Misura la percentuale di attività risolte al primo tentativo valutato. |
| Web-Bench | Risparmio dal 16,0% al 21,2%. | Test di sviluppo web sequenziale. |
| Audit di sicurezza | Risparmio dal 6,4% al 19,6%. | Attività in nuovi repository, con meno esperienza da riutilizzare. |
Come interpretare i risultati
La pubblicazione di Microsoft Research presenta i risultati di un progetto a cui partecipano Microsoft Research, Microsoft Security e l’Università della California a Berkeley. La valutazione indica che gli autori hanno osservato risparmi nei propri test; da sola, però, non dimostra che lo stesso effetto si riproduca in altri ambienti. La pagina rimanda all’articolo tecnico e al codice, ma le informazioni qui riassunte non attestano una replica indipendente.
Il risparmio riguarda i costi, non i tempi di esecuzione. I risultati comunicati non dimostrano neppure che TokenEconomizer garantisca codice corretto, meno errori o prestazioni identiche in ogni caso. Pass@1 è aumentato in quattro combinazioni, ma questa metrica non descrive interamente la qualità del codice, il tempo impiegato o altri aspetti del lavoro dell’agente.
L’esperienza accumulata nel repository è fondamentale per il metodo. Se ogni attività si svolge in un progetto diverso, il sistema ha meno occasioni di apprendere schemi riutilizzabili. Se la cronologia iniziale è breve, l’apprendimento potrebbe impiegare tempo prima di compensare i costi di preparazione. I dati di SWE-Bench non si trasferiscono automaticamente al lavoro interattivo, ai repository privati o a team con configurazioni diverse.
Il risultato va letto come una valutazione specifica dei costi e del successo delle attività, non come una garanzia generale di risparmio. Per valutare l’installazione in un proprio repository, è utile confrontare il costo di attività equivalenti con e senza il plugin, ripetere il test di riferimento e mantenere invariati modello, agente e condizioni di esecuzione.
Che cosa misurare nel proprio repository
Un confronto utile parte dalla definizione di che cosa conta come attività risolta e dalla registrazione del costo di ogni sessione. Usare lo stesso agente, modello e incarico nella configurazione di riferimento e in quella con TokenEconomizer aiuta a interpretare le differenze. È inoltre utile ripetere le attività, perché il costo può variare da un’esecuzione all’altra.
Il periodo di apprendimento conta: un test che termina dopo la prima sessione non misura lo stesso comportamento di una serie di attività nello stesso repository. Registrare il costo cumulativo permette di distinguere la spesa iniziale dall’effetto successivo, senza presumere che il risparmio osservato in una valutazione si ripeta in un altro progetto.
La metrica dei costi va affiancata alla verifica dei risultati. Spendere meno non basta se le attività non vengono più risolte o se il risultato peggiora rispetto a ciò che interessa al team. Registrare sia il costo sia il successo di ogni attività permette di individuare eventuali compromessi tra efficienza e prestazioni, invece di trattare una riduzione dei token come sinonimo di un risultato migliore.
Confronto pratico
Una valutazione locale può essere organizzata come un confronto controllato tra due configurazioni.
- 01Scegli attività rappresentative del repository e definisci in anticipo quale risultato sarà considerato corretto.
- 02Esegui ogni attività con la configurazione abituale e con TokenEconomizer, mantenendo uguali l’agente, il modello e le altre condizioni rilevanti.
- 03Ripeti la configurazione di riferimento per osservare quanto varia il costo senza il plugin.
- 04Registra il costo e il rispetto dei criteri per ogni attività; calcola anche il costo cumulativo man mano che il sistema apprende.
- 05Interpreta il risparmio insieme all’esito delle attività e al periodo di apprendimento; non estendere la percentuale ad altri repository senza misurarli.
Disponibilità e limiti pratici
Microsoft Research descrive TokenEconomizer come un plugin open source che funziona insieme agli agenti di programmazione esistenti, senza modificare i modelli sottostanti. Non richiede una propria chiave API e conserva sulla macchina dello sviluppatore ciò che apprende. Le chiamate al modello effettuate dal plugin possono generare consumo tramite l’agente utilizzato; per questo i loro costi rientrano nel calcolo comunicato dagli autori.
La pubblicazione presenta il progetto come un modo per esplorare come l’esperienza maturata in un repository possa aiutare a ridurre il lavoro ridondante. Il beneficio dipende dalle attività, dalla cronologia accumulata e dalla configurazione. I risultati pubblicati non garantiscono lo stesso risparmio con tutti gli agenti né in tutte le attività, e la fonte primaria non attesta una verifica indipendente dei risultati.
In pratica, la scelta non dipende soltanto dalla percentuale media. Contano anche la frequenza con cui le attività si ripetono nello stesso repository, il tempo necessario al sistema per accumulare esperienza e l’eventuale compensazione dei costi delle chiamate aggiuntive e delle modifiche richieste. Una misurazione locale può chiarire questi aspetti senza presumere che i risultati di SWE-Bench si trasferiscano automaticamente al lavoro quotidiano.
Continua a esplorare
Fonti consultate
Correzioni e trasparenza
Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.
Proponi una correzione