TokenEconomizer reduce el coste de agentes de programación en pruebas de Microsoft
Imagen generada por el Equipo Editorial de Inferama
01

Qué cambia con TokenEconomizer

TokenEconomizer es un complemento de código abierto que usa la experiencia de sesiones anteriores del mismo repositorio para reducir gastos de agentes de programación. No modifica el modelo ni el agente: ajusta las instrucciones iniciales, las herramientas disponibles y la respuesta ante errores repetidos mediante las interfaces que el agente ya ofrece.

Microsoft Research publicó una presentación del sistema el 16 de noviembre de 2026. En ella informa de un ahorro medio de entre el 18,4 % y el 30,9 % en 277 tareas de corrección de errores de SWE-Bench, evaluadas con cinco combinaciones de agentes y modelos. Esos resultados son datos declarados por el equipo que desarrolló el complemento, no una validación independiente.

El problema que aborda aparece cuando un agente vuelve al mismo proyecto varias veces. Cada sesión puede reenviar instrucciones, descripciones de herramientas y partes del historial al modelo. Si el agente vuelve a descubrir cómo ejecutar las pruebas o carga herramientas que nunca usa, ese trabajo repetido puede incrementar el consumo de tokens y el coste.

02

Tres mecanismos para reutilizar experiencia

Después de cada sesión, TokenEconomizer analiza su registro y actualiza el estado asociado al repositorio. En sesiones posteriores puede aplicar tres mecanismos: microhabilidades, poda de herramientas e intervención ante bucles de fallos. El sistema está diseñado para revisar sus decisiones cuando llegan nuevos datos.

Las microhabilidades son notas breves sobre el proyecto, como un comando de pruebas que aparece de forma recurrente. TokenEconomizer propone esas notas a partir de patrones observados y las añade al contexto inicial solo después de que varias sesiones confirmen el patrón. Si información posterior contradice una nota, el sistema puede retirarla.

La poda de herramientas excluye de sesiones futuras herramientas que el historial del repositorio sugiere que probablemente no se usarán. Las herramientas básicas para ejecutar comandos y editar archivos se conservan, y las herramientas excluidas pueden restaurarse. Esto puede reducir texto enviado en cada turno, aunque el resultado depende de cuánto cueste ese texto y de cómo se facture la caché del proveedor.

La intervención ante fallos repetidos utiliza un modelo evaluador para determinar si el agente está atascado o sigue avanzando. Si el evaluador considera que hay un bloqueo, el agente recibe una nota breve que sugiere probar otro enfoque. En la versión descrita por Microsoft Research, si el atasco continúa, TokenEconomizer avisa al desarrollador: no detiene el trabajo por su cuenta.

Mecanismos y función

MecanismoQué haceLímite relevante
MicrohabilidadesAñade notas breves sobre patrones del repositorio confirmados por sesiones anteriores.La información puede quedar obsoleta y debe poder revisarse o retirarse.
Poda de herramientasOculta herramientas que el historial indica que probablemente no se necesitan.Las herramientas básicas se mantienen; las excluidas pueden restaurarse.
Intervención ante fallosPide a un modelo evaluador que valore si el agente está atascado y, si procede, sugiere otro enfoque.La intervención descrita no detiene automáticamente el trabajo.
03

Qué resultados comunica la evaluación

La evaluación principal cubrió 277 tareas de SWE-Bench en seis repositorios y cinco combinaciones de agente y modelo. Para cada repositorio, TokenEconomizer empezó sin historial previo. Microsoft Research informa de una reducción media del coste de entre el 18,4 % y el 30,9 % frente a la configuración predeterminada; el coste incluye las llamadas realizadas por el propio complemento.

La tasa Pass@1 —la proporción de tareas resueltas en el primer intento evaluado— aumentó en cuatro de las cinco combinaciones. Microsoft Research describe el rendimiento general como ampliamente estable. Esa formulación no garantiza que la calidad se mantenga igual en todas las configuraciones ni permite concluir que cada tarea individual mejore.

El ahorro tampoco aparece necesariamente desde la primera tarea. Los autores indican que las tareas iniciales pueden costar más mientras TokenEconomizer aprende y que, en su evaluación, el coste acumulado quedó por debajo del valor predeterminado en cada repositorio al llegar a la sexta tarea. Ese patrón corresponde a los repositorios y tareas probados, no a una regla universal.

La publicación también comunica resultados de otros escenarios: en Web-Bench, una evaluación de desarrollo web secuencial, el coste fue entre un 16,0 % y un 21,2 % menor. En auditorías de seguridad, donde cada tarea se realizó en un repositorio nuevo, la reducción comunicada estuvo entre el 6,4 % y el 19,6 %. Al cambiar de escenario cambian también las oportunidades de reutilizar experiencia.

Resultados comunicados por Microsoft Research

EvaluaciónResultado comunicadoAlcance
SWE-BenchAhorro medio del 18,4 % al 30,9 %.277 tareas, seis repositorios y cinco combinaciones de agente y modelo.
Pass@1 en SWE-BenchAumentó en cuatro de cinco combinaciones.Mide la proporción de tareas resueltas en el primer intento evaluado.
Web-BenchAhorro del 16,0 % al 21,2 %.Prueba de desarrollo web secuencial.
Auditorías de seguridadAhorro del 6,4 % al 19,6 %.Tareas en repositorios nuevos, con menos experiencia reutilizable.
04

Cómo interpretar la evidencia

La publicación de Microsoft Research presenta los resultados de un proyecto en el que participan Microsoft Research, Microsoft Security y la Universidad de California en Berkeley. La evaluación respalda que los autores observaron ahorros en sus pruebas; por sí sola, no demuestra que el mismo efecto se reproduzca en otros entornos. La página enlaza el artículo técnico y el código, pero la información aquí resumida no acredita una replicación independiente.

El ahorro mide coste, no tiempo de ejecución. Los resultados comunicados tampoco permiten afirmar que TokenEconomizer garantice código correcto, menos errores o un rendimiento idéntico en todos los casos. Pass@1 aumentó en cuatro combinaciones, pero esa métrica no describe por completo la calidad del código, el tiempo invertido ni otros aspectos del trabajo del agente.

La experiencia del repositorio es central para el método. Si cada tarea ocurre en un proyecto distinto, el sistema tiene menos oportunidades de aprender patrones reutilizables. Si el historial inicial es corto, el aprendizaje puede tardar en compensar el coste de preparación. Las cifras de SWE-Bench no deben trasladarse directamente a trabajos interactivos, repositorios privados o equipos con configuraciones distintas.

El resultado debe leerse como una evaluación concreta de coste y éxito de tareas, no como una garantía general de ahorro. Para valorar una instalación en un repositorio propio, conviene comparar el coste de tareas equivalentes con y sin complemento, repetir la referencia y mantener constantes el modelo, el agente y las condiciones de ejecución.

05

Qué conviene medir en un repositorio propio

Una comparación útil empieza por definir qué cuenta como tarea resuelta y por registrar el coste de cada sesión. Mantener el mismo agente, modelo y encargo entre la configuración de referencia y la que usa TokenEconomizer ayuda a que las diferencias sean interpretables. También conviene repetir tareas, porque el coste puede variar entre ejecuciones.

El periodo de aprendizaje importa: una prueba que termina tras la primera sesión no mide el mismo comportamiento que una serie de tareas en el mismo repositorio. Registrar el coste acumulado permite distinguir el gasto inicial del efecto posterior, sin suponer que el ahorro observado en una evaluación aparecerá necesariamente en otro proyecto.

La métrica de coste debe acompañarse de una comprobación de resultados. Un menor gasto no basta si las tareas dejan de resolverse o si empeora el resultado que importa al equipo. Registrar tanto el coste como el éxito de cada tarea permite identificar intercambios entre eficiencia y rendimiento, en vez de tratar una reducción de tokens como sinónimo de mejor resultado.

Comparación práctica

Una evaluación local puede organizarse como una comparación controlada entre dos configuraciones.

  1. 01Elige tareas representativas del repositorio y define antes qué resultado se considerará correcto.
  2. 02Ejecuta cada tarea con la configuración habitual y con TokenEconomizer, manteniendo iguales el agente, el modelo y las demás condiciones relevantes.
  3. 03Repite la configuración de referencia para observar cuánto varía el coste sin el complemento.
  4. 04Registra por tarea el coste y si el resultado cumple el criterio fijado; calcula también el coste acumulado a medida que el sistema aprende.
  5. 05Interpreta el ahorro junto con el resultado de las tareas y el periodo de aprendizaje; no extrapoles el porcentaje a otros repositorios sin medirlos.
06

Disponibilidad y límites prácticos

Microsoft Research describe TokenEconomizer como un complemento de código abierto que funciona junto a agentes de programación existentes, sin modificar sus modelos subyacentes. No requiere una clave de API propia y mantiene en la máquina del desarrollador lo que aprende. Las llamadas que el complemento haga al modelo pueden generar consumo a través del agente utilizado; por eso, el coste de esas llamadas forma parte del cálculo comunicado por sus autores.

La publicación presenta el proyecto como una opción para explorar cómo la experiencia de un repositorio puede ayudar a reducir trabajo redundante. El beneficio depende de las tareas, del historial acumulado y de la configuración. Las cifras publicadas no garantizan el mismo ahorro en todos los agentes ni en todas las tareas, y la fuente primaria no acredita una comprobación independiente de los resultados.

En la práctica, la decisión no consiste solo en mirar el porcentaje medio. También importa si las tareas se repiten en el mismo repositorio, cuánto tarda el sistema en acumular experiencia y si el coste ahorrado compensa las llamadas adicionales y los ajustes necesarios. Una medición local puede aclarar esos puntos sin asumir que el resultado de SWE-Bench se traslada automáticamente al trabajo cotidiano.

07

Continúa explorando

Fuentes consultadas

03

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.

Proponer una corrección