TokenEconomizer senkt in Microsoft-Tests die Kosten von Coding-Agenten
Bild erstellt vom Redaktionsteam von Inferama
01

Was sich mit TokenEconomizer ändert

TokenEconomizer ist ein quelloffenes Plugin, das Erfahrungen aus früheren Sitzungen im selben Repository nutzt, um die Kosten von Coding-Agenten zu senken. Es verändert weder das Modell noch den Agenten. Stattdessen passt es über die bereits vorhandenen Schnittstellen des Agenten den anfänglichen Kontext, die verfügbaren Werkzeuge und den Umgang mit wiederholten Fehlern an.

Microsoft Research veröffentlichte am 16. November 2026 eine Vorstellung des Systems. Darin berichtet das Forschungsteam von durchschnittlich 18,4 bis 30,9 Prozent geringeren Kosten bei 277 Fehlerbehebungsaufgaben aus SWE-Bench, ausgewertet mit fünf Kombinationen aus Agenten und Modellen. Diese Ergebnisse sind Angaben des Teams, das das Plugin entwickelt hat, keine unabhängige Validierung.

Das System setzt bei einem Problem an, das entsteht, wenn ein Agent wiederholt am selben Projekt arbeitet. Jede Sitzung kann Anweisungen, Werkzeugbeschreibungen und Teile des bisherigen Gesprächs erneut an das Modell übermitteln. Wenn der Agent immer wieder herausfinden muss, wie Tests gestartet werden, oder Werkzeuge lädt, die er nie nutzt, kann diese Wiederholung den Tokenverbrauch und damit die Kosten erhöhen.

02

Drei Mechanismen nutzen frühere Erfahrungen

Nach jeder Sitzung wertet TokenEconomizer das Sitzungsprotokoll aus und aktualisiert den zum Repository gehörenden Wissensstand. In späteren Sitzungen kann das System drei Mechanismen einsetzen: Mikrofähigkeiten, das Ausblenden von Werkzeugen und Eingriffe bei wiederkehrenden Fehlerschleifen. Das System ist darauf ausgelegt, seine Entscheidungen anhand neuer Daten zu überprüfen.

Mikrofähigkeiten sind kurze Hinweise zum jeweiligen Projekt, etwa ein wiederholt verwendeter Testbefehl. TokenEconomizer schlägt solche Hinweise anhand beobachteter Muster vor und fügt sie erst dann in den anfänglichen Kontext ein, wenn mehrere Sitzungen das Muster bestätigt haben. Widersprechen spätere Beobachtungen einem Hinweis, kann das System ihn wieder entfernen.

Beim Ausblenden von Werkzeugen werden solche Werkzeuge aus künftigen Sitzungen ausgeschlossen, die laut Repository-Verlauf wahrscheinlich nicht gebraucht werden. Grundlegende Werkzeuge zum Ausführen von Befehlen und Bearbeiten von Dateien bleiben verfügbar; ausgeschlossene Werkzeuge lassen sich wiederherstellen. Dadurch kann sich der pro Zug übermittelte Text verkürzen. Wie stark das hilft, hängt jedoch davon ab, welche Kosten dieser Text verursacht und wie der Anbieter den Cache abrechnet.

Bei wiederholten Fehlern beurteilt ein zusätzliches Modell, ob der Agent feststeckt oder noch Fortschritte macht. Kommt das Bewertungsmodell zu dem Schluss, dass ein Stillstand vorliegt, erhält der Agent einen kurzen Hinweis, einen anderen Ansatz zu versuchen. In der von Microsoft Research beschriebenen Version benachrichtigt TokenEconomizer die Entwicklerin oder den Entwickler, falls der Stillstand anhält: Das Plugin beendet die Arbeit nicht selbstständig.

Mechanismen und ihre Funktion

MechanismusFunktionWichtige Einschränkung
MikrofähigkeitenErgänzt kurze Hinweise zu Mustern im Repository, die frühere Sitzungen bestätigt haben.Informationen können veralten und müssen überprüft oder entfernt werden können.
Werkzeuge ausblendenBlendet Werkzeuge aus, die laut Verlauf wahrscheinlich nicht benötigt werden.Grundlegende Werkzeuge bleiben verfügbar; ausgeschlossene Werkzeuge lassen sich wiederherstellen.
Eingriff bei FehlerschleifenLässt ein Bewertungsmodell prüfen, ob der Agent feststeckt, und schlägt gegebenenfalls einen anderen Ansatz vor.Der beschriebene Eingriff stoppt die Arbeit nicht automatisch.
03

Welche Ergebnisse die Auswertung meldet

Die zentrale Auswertung umfasste 277 SWE-Bench-Aufgaben aus sechs Repositories und fünf Kombinationen aus Coding-Agenten und Modellen. TokenEconomizer startete in jedem Repository ohne vorherigen Sitzungsverlauf. Microsoft Research berichtet gegenüber der Standardeinstellung von durchschnittlich 18,4 bis 30,9 Prozent geringeren Kosten. In die Kosten fließen auch die Modellaufrufe des Plugins selbst ein.

Die Pass@1-Rate – der Anteil der Aufgaben, die im ersten bewerteten Versuch gelöst werden – stieg bei vier der fünf Kombinationen. Microsoft Research beschreibt die Gesamtleistung als weitgehend stabil. Diese Formulierung garantiert weder, dass die Qualität bei jeder Konfiguration gleich bleibt, noch dass sich jede einzelne Aufgabe verbessert.

Die Einsparungen treten nicht unbedingt schon bei der ersten Aufgabe auf. Laut den Autoren können die ersten Aufgaben teurer sein, während TokenEconomizer lernt. In ihrer Auswertung lagen die kumulierten Kosten in jedem Repository ab der sechsten Aufgabe unter denen der Standardeinstellung. Dieses Muster gilt für die getesteten Repositories und Aufgaben, nicht automatisch für andere Projekte.

Die Veröffentlichung nennt außerdem Ergebnisse aus anderen Szenarien: Bei Web-Bench, einer sequenziellen Webentwicklungsaufgabe, lagen die Kosten um 16,0 bis 21,2 Prozent niedriger. Bei Sicherheitsprüfungen, in denen jede Aufgabe in einem neuen Repository stattfand, betrug die angegebene Senkung 6,4 bis 19,6 Prozent. Mit dem Szenario ändern sich auch die Möglichkeiten, frühere Erfahrungen wiederzuverwenden.

Von Microsoft Research gemeldete Ergebnisse

AuswertungGemeldetes ErgebnisUmfang
SWE-BenchDurchschnittlich 18,4 bis 30,9 Prozent geringere Kosten.277 Aufgaben, sechs Repositories und fünf Kombinationen aus Agent und Modell.
Pass@1 bei SWE-BenchAnstieg bei vier von fünf Kombinationen.Misst den Anteil der Aufgaben, die im ersten bewerteten Versuch gelöst werden.
Web-Bench16,0 bis 21,2 Prozent geringere Kosten.Test mit sequenzieller Webentwicklung.
Sicherheitsprüfungen6,4 bis 19,6 Prozent geringere Kosten.Aufgaben in neuen Repositories mit weniger wiederverwendbarer Erfahrung.
04

Wie sich die Ergebnisse einordnen lassen

Die Veröffentlichung von Microsoft Research beschreibt ein Projekt, an dem Microsoft Research, Microsoft Security und die University of California, Berkeley beteiligt sind. Die Auswertung stützt die Aussage, dass die Autoren in ihren Tests Einsparungen beobachtet haben. Sie belegt für sich genommen nicht, dass derselbe Effekt in anderen Umgebungen wieder auftritt. Die Seite verweist auf den technischen Artikel und den Code; die hier zusammengefassten Angaben belegen jedoch keine unabhängige Replikation.

Die Einsparung betrifft die Kosten, nicht die Ausführungszeit. Die gemeldeten Ergebnisse zeigen auch nicht, dass TokenEconomizer korrekten Code, weniger Fehler oder in jedem Fall eine unveränderte Leistung garantiert. Pass@1 stieg bei vier Kombinationen, beschreibt aber weder die Codequalität vollständig noch die benötigte Zeit oder andere Aspekte der Arbeit des Agenten.

Für die Methode ist die Erfahrung mit dem jeweiligen Repository entscheidend. Wenn jede Aufgabe in einem anderen Projekt stattfindet, kann das System weniger wiederverwendbare Muster lernen. Bei einem kurzen anfänglichen Verlauf kann es dauern, bis der Lerneffekt die Vorbereitungskosten ausgleicht. Die SWE-Bench-Zahlen lassen sich nicht ohne Weiteres auf interaktive Arbeit, private Repositories oder abweichende Teamkonfigurationen übertragen.

Das Ergebnis ist als konkrete Auswertung von Kosten und Aufgabenerfolg zu lesen, nicht als allgemeine Spargarantie. Wer den Einsatz in einem eigenen Repository beurteilen will, sollte die Kosten vergleichbarer Aufgaben mit und ohne Plugin messen, die Referenzkonfiguration wiederholen und Modell, Agent sowie Ausführungsbedingungen konstant halten.

05

Was sich im eigenen Repository messen lässt

Ein aussagekräftiger Vergleich beginnt damit, festzulegen, was als gelöste Aufgabe zählt, und die Kosten jeder Sitzung zu erfassen. Wenn Referenzkonfiguration und TokenEconomizer dieselbe Aufgabe mit demselben Agenten, Modell und übrigen Bedingungen bearbeiten, lassen sich Unterschiede leichter einordnen. Auch Wiederholungen sind sinnvoll, denn die Kosten können von einem Durchlauf zum nächsten schwanken.

Die Lernphase spielt eine Rolle: Ein Test nach nur einer Sitzung bildet nicht dasselbe Verhalten ab wie eine Reihe von Aufgaben im selben Repository. Wer die kumulierten Kosten erfasst, kann die anfänglichen Ausgaben vom späteren Effekt unterscheiden, ohne anzunehmen, dass die in einer Auswertung beobachtete Einsparung auch in einem anderen Projekt eintritt.

Die Kosten sollten zusammen mit dem Aufgabenergebnis geprüft werden. Geringere Ausgaben reichen nicht aus, wenn Aufgaben ungelöst bleiben oder das für ein Team wichtige Ergebnis schlechter wird. Wer sowohl die Kosten als auch den Erfolg jeder Aufgabe erfasst, kann Zielkonflikte zwischen Effizienz und Leistung erkennen, statt eine geringere Tokenzahl mit einem besseren Ergebnis gleichzusetzen.

Praktischer Vergleich

Eine lokale Auswertung lässt sich als kontrollierter Vergleich zweier Konfigurationen durchführen.

  1. 01Wähle repräsentative Aufgaben aus dem Repository und lege vorab fest, welches Ergebnis als korrekt gilt.
  2. 02Führe jede Aufgabe mit der üblichen Konfiguration und mit TokenEconomizer aus. Halte Agent, Modell und alle übrigen relevanten Bedingungen gleich.
  3. 03Wiederhole die Referenzkonfiguration, um festzustellen, wie stark die Kosten ohne Plugin schwanken.
  4. 04Erfasse für jede Aufgabe die Kosten und ob das Ergebnis das festgelegte Kriterium erfüllt. Berechne außerdem die kumulierten Kosten, während das System lernt.
  5. 05Bewerte die Einsparung zusammen mit den Aufgabenergebnissen und der Lernphase. Übertrage den Prozentsatz nicht ungeprüft auf andere Repositories.
06

Verfügbarkeit und praktische Grenzen

Microsoft Research beschreibt TokenEconomizer als quelloffenes Plugin, das neben bestehenden Coding-Agenten läuft, ohne deren zugrunde liegende Modelle zu verändern. Es benötigt keinen eigenen API-Schlüssel und speichert die gelernten Informationen auf dem Rechner der Entwicklerin oder des Entwicklers. Modellaufrufe des Plugins können über den verwendeten Agenten Kosten verursachen. Deshalb berücksichtigen die von den Autoren gemeldeten Berechnungen diese Aufrufe.

Microsoft Research stellt das Projekt als Möglichkeit vor, zu untersuchen, ob die Erfahrung eines Repositories redundante Arbeit verringern kann. Der Nutzen hängt von den Aufgaben, dem angesammelten Verlauf und der Konfiguration ab. Die veröffentlichten Zahlen garantieren nicht dieselbe Einsparung bei allen Agenten und Aufgaben; die Primärquelle belegt keine unabhängige Prüfung der Ergebnisse.

Bei der Entscheidung zählt nicht nur der durchschnittliche Prozentsatz. Ebenfalls wichtig sind wiederkehrende Aufgaben im selben Repository, die Zeit, die das System zum Sammeln von Erfahrungen benötigt, und die Frage, ob eingesparte Kosten zusätzliche Modellaufrufe und Anpassungen aufwiegen. Eine Messung im eigenen Arbeitsablauf kann diese Punkte klären, ohne vorauszusetzen, dass sich das SWE-Bench-Ergebnis unmittelbar auf die tägliche Arbeit überträgt.

07

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen