Qué pregunta responde SWE-Bench Verified y cuál no responde
SWE-Bench evalúa sistemas a partir de incidencias históricas de GitHub y los cambios correctivos asociados. SWE-Bench Verified es un subconjunto de 500 instancias revisadas por personas para mejorar la fiabilidad de la evaluación. La pregunta es acotada: dado el contexto de una incidencia en un repositorio concreto, ¿puede un sistema proponer un parche que supere las pruebas definidas para esa tarea en un entorno reproducido?
La evaluación conecta la generación de código con un resultado ejecutable, no solo con una preferencia humana o una semejanza textual con una solución esperada. El sistema debe interpretar la incidencia, explorar archivos y producir una modificación que funcione bajo las condiciones de prueba de esa instancia. La tasa resume ese proceso como la proporción de tareas que cumplen un criterio binario de resolución.
Un resultado no establece, por sí solo, que un agente pueda mantener de forma autónoma un repositorio real. No demuestra que sepa priorizar incidencias, aclarar requisitos ambiguos, decidir cuándo no modificar código, gestionar secretos, coordinar un despliegue o responder por una regresión. Esas actividades dependen de personas, políticas y sistemas que una instancia cerrada no representa por completo.
Por eso, una puntuación debe leerse como evidencia sobre una capacidad evaluada con un protocolo determinado, no como una clasificación general de herramientas de ingeniería. Puede servir como una señal entre varias en una evaluación técnica, siempre que se conserven las condiciones de obtención y no se convierta un número aislado en una promesa de resultados operativos.
De una incidencia histórica a un parche evaluado
El SWE-Bench original se construyó a partir de problemas resueltos en GitHub en 12 repositorios Python de código abierto, vinculados con las solicitudes de cambio correspondientes. Una instancia reúne la incidencia, el estado histórico del repositorio en el que se trabajará y el cambio de referencia del proyecto. El benchmark convierte ese material en una tarea que un sistema puede intentar resolver modificando el código.
El cambio de referencia no es necesariamente la respuesta que el sistema debe reproducir carácter por carácter. Un parche alternativo puede contar como válido si satisface las pruebas previstas para corregir el problema y no rompe las pruebas que protegen comportamientos no relacionados. Esto distingue resolver funcionalmente una tarea de recuperar exactamente el parche humano original.
Verified añade una selección revisada por personas. La documentación del proyecto describe el conjunto como un subconjunto de 500 instancias. Esa revisión busca mejorar la fiabilidad de la evaluación, pero no convierte cada problema en una representación exhaustiva de la ingeniería de software ni elimina toda ambigüedad posible.
Para repetir una ejecución no basta con conservar el texto de la incidencia. También hay que fijar la revisión de los datos, los identificadores de las instancias, el entorno, la versión del arnés, los parches producidos y los límites de ejecución. La distribución consultada está alojada en una rama mutable: el nombre de la rama por sí solo no fija una versión reproducible. Conviene registrar una revisión completa y la fecha de consulta.
Qué significa que una tarea esté resuelta
La evaluación descrita para SWE-Bench oculta las pruebas al agente y utiliza dos grupos. Las pruebas FAIL_TO_PASS representan el comportamiento que el cambio debe corregir. Las PASS_TO_PASS comprueban que la modificación no haya roto involuntariamente otras partes de la base de código. Para contar como resolución completa, el parche debe superar ambos grupos.
El criterio es más exigente que comprobar si el código compila o si pasa una única prueba nueva. También permite aceptar parches funcionalmente distintos del cambio histórico. Sin embargo, una tasa agregada oculta decisiones que afectan a su interpretación: cuántas instancias entraron en el denominador, cómo se trataron los errores de infraestructura, cuánto tiempo tuvo cada tarea, cuántas muestras se generaron y cómo se eligió la salida final.
El arnés oficial aplica los parches, ejecuta las pruebas y calcula los resultados. Su configuración permite seleccionar conjuntos e instancias y establecer límites como el tiempo de ejecución. Si un informe publica solo una tasa, sin un comando o una configuración equivalente, resulta difícil comprobar si dos resultados usaron las mismas tareas, límites y condiciones de evaluación.
Una métrica binaria no es inútil por no cubrir todo el ciclo de desarrollo: aporta evidencia concreta sobre reparación de incidencias bajo condiciones definidas. Su alcance debe mantenerse claro y la afirmación debe incluir suficiente trazabilidad para que otras personas puedan entender qué se evaluó.
Decisiones que una tasa puede ocultar
| Aspecto | Pregunta de auditoría | Efecto sobre la interpretación |
|---|---|---|
| Denominador | ¿Se evaluaron las 500 instancias o un subconjunto? | Una tasa calculada sobre tareas filtradas no representa necesariamente todo el conjunto. |
| Muestras | ¿Hubo un parche o varios intentos por tarea? | Más intentos pueden aumentar la probabilidad de hallar un parche válido. |
| Selección | ¿Cómo se eligió el parche evaluado entre varias salidas? | La regla puede cambiar la información y el coste necesarios. |
| Tiempo y cómputo | ¿Qué límites de pasos, llamadas y tiempo se aplicaron? | La tasa no expresa por sí sola la eficiencia del sistema. |
| Fallos de ejecución | ¿Cómo se trataron los timeouts y los problemas de infraestructura? | Excluirlos o repetirlos modifica el denominador efectivo. |
Qué datos permiten comparar resultados
Para comparar dos puntuaciones hay que poder distinguir una ejecución de otra. El primer dato es la identidad del conjunto: nombre, variante, revisión fijada y lista de instancias o regla de selección. «SWE-Bench Verified» no basta si el resultado se obtuvo sobre una muestra, una copia modificada o una versión distinta de los datos.
También hay que identificar el modelo y su versión o fecha; el framework y la versión del agente; y las herramientas disponibles, como terminal, búsqueda local, ejecución de pruebas o acceso a la red. El mismo modelo puede dar resultados diferentes si cambian el ciclo de herramientas, el contexto, la gestión de errores o el criterio de parada.
El presupuesto y el protocolo también importan: límites de tiempo y pasos, llamadas al modelo, muestras por tarea, reintentos y regla para escoger el parche final. Cuando se puedan compartir, la configuración, los registros, las predicciones y la salida del arnés ayudan a verificar qué ocurrió. Una puntuación sin estos datos puede estar incompletamente especificada, aunque eso no la refute automáticamente.
La documentación del proyecto distingue una clasificación general de sistemas heterogéneos de una comparación de modelos con una configuración común basada en mini-SWE-agent. La primera no aísla el efecto del modelo; la segunda puede facilitar esa comparación concreta. El proyecto también advierte que las versiones 1.x y 2.x de mini-SWE-agent no son necesariamente comparables.
No siempre se publican todos los detalles. En ese caso, es más preciso describir el resultado como incompletamente especificado que completar los vacíos con suposiciones o presentar cifras heterogéneas como si procedieran de un experimento controlado.
Ficha mínima para una puntuación publicada
| Campo | Qué debe constar | Señal de alerta |
|---|---|---|
| Conjunto | Variante, revisión e instancias incluidas | Solo aparece el nombre del benchmark. |
| Modelo | Identidad y versión o fecha | Nombre comercial sin versión identificable. |
| Agente | Framework y versión | Se omite el sistema que organiza el trabajo del modelo. |
| Herramientas | Capacidades y restricciones | No se sabe si había terminal, red o pruebas. |
| Presupuesto | Límites por tarea y recursos conocidos | Se comparan resultados con límites distintos u ocultos. |
| Protocolo | Muestras, reintentos y selección | No se explica cómo se eligió la salida final. |
| Artefactos | Configuración, registros y resultados verificables | Solo se presenta una cifra agregada. |
Límites de la puntuación y del benchmark
La selección de tareas puede cambiar el resultado. Un subconjunto elegido por dificultad, disponibilidad del entorno o éxitos previos no tiene por qué conservar la distribución del conjunto completo. También importa si se excluyen instancias que agotan el tiempo, no consiguen construir una imagen o fallan por problemas de infraestructura. Cuando sea posible, un informe debe separar los fallos del agente de los del entorno y explicar cómo se trataron.
Los intentos repetidos y las muestras múltiples también modifican la interpretación. Probar varios parches por incidencia puede ser una decisión legítima si refleja el uso previsto, pero ya no se mide el éxito de un único intento. Deben declararse el máximo de intentos, los reinicios del agente y las repeticiones de ejecuciones fallidas.
Las pruebas ocultas reducen una vía directa de adaptación a la respuesta esperada, pero no igualan todos los recursos disponibles. Un agente puede tener búsqueda, herramientas de ejecución, documentación local o acceso externo según el protocolo. Una comparación necesita describir esos recursos y aclarar si fueron iguales para todos los sistemas.
OpenAI ha sostenido que SWE-Bench Verified dejó de medir capacidades de programación de frontera y ha señalado el riesgo de contaminación por la disponibilidad pública de problemas y soluciones históricas. Esta es la evaluación y postura de OpenAI, no una medición independiente que cuantifique la contaminación de cada modelo. Por ello, una mejora reciente no debe interpretarse automáticamente como progreso general sin considerar la posible exposición a los datos.
La transferencia a otros repositorios también es incierta. Una tarea histórica de un repositorio Python no reproduce necesariamente las prioridades, dependencias, procesos y riesgos de una organización. La pregunta práctica es si las incidencias que se quieren delegar se parecen de manera relevante a las evaluadas. Si no se parecen, la tasa del benchmark ofrece una señal limitada sobre ese uso.
Cómo auditar un resultado y probarlo en un repositorio propio
Al leer una cifra publicada, comprueba si corresponde a todo Verified, a un subconjunto o a una variante; identifica la revisión de datos, el modelo y el framework del agente; y averigua qué herramientas estaban disponibles. Busca también los límites de tiempo, pasos y llamadas, el número de muestras, la política de reintentos, la regla de selección y el tratamiento de fallos de infraestructura.
El criterio de éxito debe incluir las pruebas de corrección y preservación que correspondan. Si faltan datos esenciales, no fuerces un ordenamiento numérico: clasifica la comparación como parcial o no comparable. Una ejecución con artefactos verificables permite una auditoría más completa que una cifra sin configuración publicada.
En un repositorio real, resolver una incidencia requiere tareas que el benchmark no cubre suficientemente: hacer triage, reproducir el problema, negociar requisitos, priorizar, revisar seguridad y compatibilidad, aprobar cambios y decidir un despliegue. Un parche que supera las pruebas del arnés todavía puede necesitar supervisión humana para determinar si se integra, cuándo se despliega y cómo se revierte.
Una prueba local acotada permite evaluar la transferencia sin tratar la puntuación como una garantía. Elige incidencias representativas, fija commits y dependencias, define criterios de aceptación y mantén el entorno aislado. No concedas acceso a credenciales de producción ni permisos de escritura fuera del entorno de prueba. Compara sistemas con los mismos casos, herramientas, límites y ventana temporal.
Además de si pasan las pruebas, registra el tiempo hasta el parche, las intervenciones humanas, la calidad de la explicación, el cumplimiento de las convenciones del repositorio y los hallazgos de revisión. Una muestra pequeña no permite conclusiones generales, pero puede revelar incompatibilidades, costes inesperados o tareas que exigen demasiada supervisión.
Lista breve para auditar una ejecución
- 01Identifica si el resultado cubre todo Verified, un subconjunto o una variante; registra la revisión de los datos.
- 02Comprueba la identidad y versión del modelo y del framework del agente.
- 03Anota las herramientas disponibles: ejecución de pruebas, terminal, red y recuperación externa.
- 04Registra los límites de tiempo, pasos, llamadas y muestras por instancia.
- 05Determina la política de reintentos y cómo se eligió el parche final.
- 06Comprueba que el criterio de éxito incluya las pruebas de corrección y preservación aplicables.
- 07Revisa cómo se trataron timeouts, fallos de imagen y problemas de infraestructura.
- 08Distingue una ejecución con artefactos de una afirmación sin elementos verificables.
- 09Evita comparar directamente configuraciones de mini-SWE-agent que no se declaran comparables.
- 10Clasifica el resultado como comparable, parcialmente comparable o no comparable; no fuerces una clasificación numérica si faltan datos esenciales.
Prueba local acotada y segura
- 01Selecciona pocos casos representativos y clasifícalos por tipo y riesgo.
- 02Fija commits, dependencias y entornos aislados antes de ejecutar los agentes.
- 03Define pruebas de aceptación y una revisión humana independiente del parche.
- 04Establece permisos mínimos: sin secretos, sin producción y sin escritura fuera del entorno de prueba.
- 05Usa presupuestos y herramientas documentados y equivalentes al comparar sistemas.
- 06Registra resultados, costes, tiempos, fallos del entorno y motivos de rechazo.
- 07Decide a partir de los patrones observados y los límites operativos, no de una única tasa agregada.
Qué puede afirmarse con rigor
Una afirmación precisa debe identificar las condiciones: «En la revisión declarada de SWE-Bench Verified, con este modelo, esta versión de agente, estas herramientas, este presupuesto y este protocolo, la ejecución obtuvo una tasa determinada de instancias que superaron el criterio del arnés». Si hay artefactos, puede indicarse que el resultado es auditable o reproducible bajo las condiciones publicadas. Si faltan, corresponde decir que la afirmación no puede verificarse por completo.
No es riguroso convertir esa formulación en «el modelo resuelve ese porcentaje de errores reales», «es el mejor agente de código» o «puede mantener un repositorio sin supervisión». Esas conclusiones amplían la población, el contexto y las responsabilidades sin evidencia equivalente. Incluso una ejecución impecable responde solo a las tareas y al protocolo que se evaluaron.
La documentación del benchmark y del arnés permite delimitar lo que se mide: un subconjunto de 500 instancias revisadas por personas, un criterio que exige superar pruebas de corrección y preservación, y una configuración de evaluación que forma parte material del resultado. El benchmark puede ser una señal técnica útil, pero no garantiza autonomía, seguridad, productividad neta ni adecuación a un repositorio específico.
La decisión práctica es conservar ambas ideas: la tasa ofrece evidencia concreta sobre tareas definidas, mientras que su transferencia a un entorno propio requiere evaluación local y controles operativos. Un resultado sirve para formular una hipótesis de prueba; no basta por sí solo para autorizar autonomía en producción.
Cómo comunicar un resultado sin exagerar su alcance
| Situación | Formulación rigurosa | Formulación que conviene evitar |
|---|---|---|
| Ejecución documentada | Obtuvo una tasa de resolución con el protocolo y el presupuesto declarados. | Resuelve incidencias reales en ese porcentaje. |
| Comparación en condiciones comunes | Superó a otro sistema en esta configuración concreta. | El modelo es superior en general. |
| Configuración incompleta | Se comunicó una cifra, pero faltan datos para compararla directamente. | La cifra demuestra el rendimiento del modelo. |
| Evaluación interna | Justifica una prueba controlada en tareas locales. | Justifica autonomía en producción. |
Continúa explorando
Fuentes consultadas
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección