Open-Endedness Bench: qué se puede afirmar y qué sigue sin verificarse

La idea es relevante; la evidencia concreta no está confirmada

Evaluar un agente por la respuesta que entrega al final puede ser insuficiente cuando trabaja en una tarea abierta. En esos casos quizá no exista una solución única con la que comparar el resultado: importa también cómo llegó a él, qué pruebas realizó y si cambió de rumbo al encontrar evidencia contraria. Esa es la necesidad que plantea la propuesta llamada Open-Endedness Bench (OEB), descrita en el material editorial recibido como un método para examinar registros de ejecución de agentes.

Sin embargo, la documentación disponible para esta revisión no permite confirmar el preprint citado, su contenido ni la existencia de materiales complementarios. Tampoco aporta el artículo original, instrucciones de evaluación, trazas, código o resultados reproducibles. Por ello, no es posible presentar como hechos los criterios que supuestamente aplica OEB, los agentes evaluados o las puntuaciones que habría obtenido. La propuesta puede describirse como una idea pendiente de verificación, no como un benchmark validado.

La distinción importa: explicar por qué tendría sentido medir el proceso de investigación no equivale a demostrar que un método concreto lo mida de forma fiable. En esta nota, las consideraciones sobre hipótesis, experimentos y revisiones se presentan como preguntas y criterios útiles para valorar una evaluación de este tipo; no como características confirmadas de OEB.

Qué habría que observar en un registro de investigación

Una evaluación del proceso necesitaría algo más que una secuencia de mensajes bien redactados. Para examinar el razonamiento operativo de un agente, el registro tendría que permitir distinguir entre lo que el sistema propuso, las acciones que realmente ejecutó y los resultados que obtuvo. Sin esa separación, una narración posterior podría describir experimentos plausibles sin demostrar que ocurrieron.

También sería necesario reconstruir el vínculo entre una hipótesis y una prueba. Por ejemplo, si el agente plantea que un cambio de configuración mejorará un resultado, el registro debería mostrar la configuración probada, las condiciones de comparación, la salida observada y la decisión tomada después. No basta con que aparezcan esas piezas en algún lugar: deben corresponder a la misma pregunta y conservar suficiente contexto para que otra persona pueda revisar la interpretación.

La revisión de hipótesis es otra señal potencial. Un agente que mantiene una explicación pese a resultados incompatibles podría estar ignorando evidencia; uno que cambia de conclusión debería mostrar qué observación motivó el cambio. Pero un registro aislado no resuelve automáticamente si la revisión fue razonable. Para juzgarla hacen falta criterios explícitos, una definición de qué cuenta como evidencia relevante y, si intervienen evaluadores humanos, información sobre cómo se compararon sus juicios.

Estas condiciones son requisitos que convendría buscar en cualquier benchmark de investigación automatizada. No se pueden atribuir a OEB mientras no haya un artículo verificable que detalle su protocolo.

Una respuesta final y un proceso son objetos de evaluación distintos

Los benchmarks de tareas cerradas pueden comparar una salida con una respuesta esperada o con un resultado comprobable. En una investigación abierta, en cambio, la calidad no siempre se reduce a acertar una respuesta: también puede depender de la selección de experimentos, de la interpretación de datos incompletos y de la capacidad para revisar una explicación. Eso no vuelve inútiles las métricas finales; indica que responden a una pregunta diferente.

Como contexto limitado, OpenAI describe SWE-bench Verified como un subconjunto de SWE-bench validado por personas para evaluar de forma más fiable la capacidad de los modelos de resolver incidencias de software. Ese ejemplo ayuda a ilustrar que la validación de tareas y resultados puede formar parte del diseño de un benchmark. No demuestra, sin embargo, que un sistema evalúe investigación abierta ni que mida la calidad de las hipótesis de un agente.

Para valorar una propuesta como OEB haría falta conocer, al menos, qué tareas incluye, qué agentes se comparan, qué unidades se puntúan y cómo se establecen las referencias de calidad. También habría que saber si las puntuaciones se validaron con jueces humanos, si se midió el acuerdo entre ellos y si el método se probó con registros engañosos, incompletos o escritos sin acciones ejecutadas. Sin esos detalles, no puede interpretarse una eventual puntuación como evidencia de rigor científico.

Qué falta para evaluar la propuesta

La publicación de un preprint sería solo el primer paso para valorar la propuesta. Para comprobar las afirmaciones metodológicas harían falta materiales que permitieran reproducir la evaluación: descripción de tareas, rúbricas, ejemplos de registros, instrucciones para quienes puntúan y resultados desglosados. El acceso al código y a las trazas originales facilitaría además comprobar si las puntuaciones dependen del formato del registro o de decisiones particulares del equipo investigador.

La evaluación independiente tendría que examinar tanto la validez como la robustez. Validez significa que las puntuaciones reflejen el proceso que dicen medir y no, por ejemplo, la extensión del registro o la fluidez de su redacción. Robustez implica comprobar si las conclusiones se mantienen con otros agentes, tareas y evaluadores. Si el método usa anotación humana, también sería importante conocer el nivel de acuerdo y los casos de desacuerdo, no solo un promedio agregado.

La página institucional de OpenAI sobre SWE-bench Verified aporta contexto sobre un benchmark distinto y su validación humana; no es evidencia de que OEB haya sido sometido a una evaluación equivalente. Del mismo modo, un trabajo sobre otro benchmark de agentes no confirma los datos ni el diseño de OEB. La similitud temática entre proyectos no sustituye una fuente primaria del estudio que se quiere describir.

Conclusión: no confundir una propuesta plausible con un resultado establecido

La pregunta que plantea Open-Endedness Bench —cómo evaluar lo que un agente hace mientras investiga, además de lo que responde al final— es pertinente para tareas sin una solución de referencia sencilla. Pero, con las fuentes verificadas aportadas, no se puede confirmar que el preprint citado exista con ese título ni describir responsablemente su metodología o sus resultados. Tampoco hay base suficiente para afirmar qué agentes fueron evaluados, qué puntuaciones obtuvieron o si sus trazas y herramientas están disponibles.

La conclusión práctica es provisional: antes de tratar OEB como un benchmark operativo, hace falta localizar y examinar su fuente primaria y sus materiales. Hasta entonces, lo riguroso es mantener separadas la motivación general —evaluar hipótesis, pruebas y revisiones— y las afirmaciones específicas sobre el método. Esa cautela no invalida la idea; evita atribuirle resultados que todavía no están acreditados.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.