ACTUALIDAD DE IA

Investigación y benchmarks

Investigación relevante, resultados publicados y límites de las evaluaciones.

Últimas noticias

77 publicaciones

RSS ↗
Un preprint propone comprobar si los agentes de IA merecen sus puntuaciones

Un preprint propone comprobar si los agentes de IA merecen sus puntuaciones

Trust Layer añade cuatro comprobaciones a la puntuación de un benchmark: examina el calificador, la trazabilidad de la respuesta, la veracidad de la afirmación de éxito y la estabilidad entre ejecuciones. El marco se probó en cinco configuraciones de agentes y 108 tareas, pero sus resultados aún no demuestran que funcione en otros benchmarks.

Mercor atribuye a Claude Opus 5 un 100 % en contabilidad: qué mide y qué no demuestra

Mercor atribuye a Claude Opus 5 un 100 % en contabilidad: qué mide y qué no demuestra

Mercor comunicó un resultado del 100 % para Claude Opus 5 en una evaluación de tareas contables similares al cierre mensual. Una comparación difundida sitúa a los participantes humanos en el 37 %. La información disponible no permite verificar el tamaño de la prueba, su rúbrica ni las condiciones de ejecución.