Una nueva versión con cambios en las pruebas y en la clasificación
Artificial Analysis publicó el 27 de octubre de 2026 la versión 5 de su Intelligence Index, un índice compuesto que compara modelos en tareas relacionadas con usos actuales. La actualización modifica tanto las evaluaciones como la forma de interpretar los resultados: el proveedor afirma que el 60 % del índice se apoya ahora en conjuntos de prueba privados o respuestas reservadas.
La organización presenta a Claude Opus 5.5 en configuración de esfuerzo máximo con 58 puntos, por delante de GPT-6 Astra, con 57, y GPT-6.1 Sol, con 55. Son resultados publicados por quien diseña y ejecuta el índice; la evidencia disponible no incluye una reproducción independiente que permita confirmar esas puntuaciones. Además, una clasificación compuesta resume un diseño concreto: no demuestra que el primer modelo sea el mejor para cada tarea, coste o entorno de uso.
Dos evaluaciones nuevas y tres actualizadas
La versión 5 añade FrontierCode 2.0, una prueba privada de Cognition con 132 tareas en repositorios de código abierto. La evaluación considera si una persona responsable del repositorio aceptaría el cambio del agente; el anuncio también señala que las tareas permanecen privadas para reducir la contaminación. Artificial Analysis dice que ejecuta cada tarea tres veces en su entorno de evaluación. Eso explica el procedimiento declarado, pero no permite concluir que la contaminación se haya eliminado ni que los resultados sean reproducibles por terceros.
La otra prueba nueva, Terminal-Bench-Science, reúne 70 tareas de investigación científica realizadas en un entorno de terminal. El anuncio dice que especialistas preparan y revisan las tareas y que una tarea solo se considera superada si pasan todas sus pruebas. La actualización incorpora asimismo HLE-Diamond, una selección de 1.000 preguntas divididas a partes iguales entre razonamiento y conocimiento; AA-Omniscience v1.1, con cambios en el conjunto de preguntas; y una versión difícil, privada y de 40 preguntas de CritPt v2.
Qué mide cada cambio anunciado
Las descripciones y los porcentajes resumen el diseño declarado por Artificial Analysis; no son una auditoría independiente de las evaluaciones.
| Evaluación | Cambio o enfoque | Peso indicado |
|---|---|---|
| FrontierCode 2.0 | Tareas de programación en repositorios; se valora si se aceptaría el cambio del agente. | 15 % |
| Terminal-Bench-Science | Flujos de investigación científica en terminal. | 15 % |
| HLE-Diamond | 1.000 preguntas: mitad de razonamiento y mitad de conocimiento. | 10 % |
| AA-Omniscience v1.1 | Conjunto revisado de conocimiento y alucinaciones. | 15 % |
| CritPt v2, subconjunto difícil | 40 preguntas privadas de física de nivel de investigación. | 10 % |
Cómo se reparte el peso del índice
Intelligence Index v5 asigna un 25 % a cada una de cuatro áreas: trabajo de conocimiento, programación, ciencia y evaluación general. Dentro de esas áreas, el peso se reparte entre nueve evaluaciones. El resultado depende, por tanto, tanto del desempeño en cada prueba como de las decisiones sobre qué pruebas entran y cuánto pesan.
La composición importa al comparar versiones. Artificial Analysis mantiene AA-Briefcase, AutomationBench-AA, GDP.pdf y Terminal-Bench 4.0; incorpora las pruebas nuevas y las versiones actualizadas, y elimina GDPval-AA v2.1, SciCode y AA-LCR v1.1. Por ello, una diferencia entre v4.3 y v5 no debe interpretarse automáticamente como una mejora o pérdida equivalente de capacidad general: cambió el conjunto de evaluaciones y también puede haber cambiado el comportamiento de los modelos ante esas tareas específicas.
Ponderación por categoría
La suma de cada categoría es el 25 % del índice, según la metodología descrita en el anuncio.
| Categoría | Evaluaciones y pesos |
|---|---|
| Trabajo de conocimiento | AA-Briefcase: 15 %; AutomationBench-AA: 5 %; GDP.pdf: 5 % |
| Programación | FrontierCode 2.0: 15 %; Terminal-Bench 4.0: 10 % |
| Ciencia | Terminal-Bench-Science: 15 %; CritPt v2, subconjunto difícil: 10 % |
| General | AA-Omniscience v1.1: 15 % (10 % precisión y 5 % no alucinación); HLE-Diamond: 10 % |
La diferencia entre modelos de pesos abiertos se amplía en esta medición
En la tabla publicada, Kimi K3.1 Pro obtiene 46 puntos y es el modelo de pesos abiertos mejor situado, aunque el anuncio especifica que sus pesos todavía no se habían publicado. Artificial Analysis compara esa cifra con los 58 puntos de Claude Opus 5.5 y describe una brecha de 12 puntos, frente a 3 en v4.3. Esa comparación corresponde a las puntuaciones y versiones que el propio proveedor presenta; no demuestra por sí sola que los cambios del índice causaran la ampliación.
Si se consideran únicamente los modelos cuyos pesos el anuncio identifica como publicados, DeepSeek V4.1 Flash 1017 y GLM-5.3 lideran ese grupo con 32 puntos cada uno. En esta clasificación concreta, la etiqueta «pesos abiertos» no equivale necesariamente a pesos ya disponibles: el caso de Kimi muestra por qué conviene distinguir entre la categoría usada para comparar y la disponibilidad efectiva del modelo.
Un índice no sustituye la evaluación del caso de uso
El índice también muestra que ningún modelo lidera todas las evaluaciones. En los resultados publicados, Claude Opus 5.5 encabeza FrontierCode 2.0, HLE-Diamond y AA-Omniscience v1.1; GPT-6 Astra lidera Terminal-Bench-Science y el subconjunto difícil de CritPt v2. Otros modelos aparecen primeros en pruebas concretas de trabajo de conocimiento, automatización, generación de documentos o tareas de terminal. Esa variedad indica que el orden general puede ocultar fortalezas y debilidades específicas.
El coste y la configuración también alteran la comparación práctica. Artificial Analysis publica diferencias amplias de coste por tarea entre los modelos líderes y señala que el nivel de esfuerzo puede asociarse con variaciones sustanciales de puntuación y coste. Esos valores dependen de las condiciones de ejecución descritas por el proveedor y no garantizan el mismo rendimiento o precio en una aplicación particular. Para escoger un modelo, conviene contrastar tareas representativas, requisitos de calidad, latencia, coste y condiciones de despliegue propios.
Cómo aplicar la clasificación a una decisión de compra
El índice sirve como referencia comparativa, no como garantía de resultados en una aplicación concreta.
- 01Define las tareas reales y los criterios de éxito antes de elegir un modelo.
- 02Comprueba qué evaluaciones del índice se parecen a esas tareas y cuánto pesan en la puntuación general.
- 03Compara modelos con la misma configuración de esfuerzo y condiciones disponibles, y revisa por separado coste, latencia y restricciones de despliegue.
- 04Prueba una muestra representativa de tus propios casos; una posición alta en el índice no acredita el rendimiento en datos o flujos que no se hayan evaluado.
Transparencia y límites de la evidencia publicada
El uso de conjuntos privados puede reducir la exposición pública de preguntas y respuestas, pero también limita la posibilidad de que terceros repitan exactamente las pruebas. El anuncio identifica evaluaciones privadas y describe algunos controles, como mantener reservadas las tareas de FrontierCode 2.0 y retirar preguntas públicas o saturadas de AA-Omniscience v1.1. La evidencia disponible no detalla lo suficiente el control de contaminación en todas las pruebas ni permite confirmar sus efectos; por eso no corresponde afirmar que las tareas sean inmunes a contaminación.
La lectura más prudente es tratar v5 como una medición compuesta publicada por su responsable, útil para observar diferencias bajo ese protocolo y sus ponderaciones. Las puntuaciones concretas, la comparación con versiones previas y la distancia entre categorías de modelos deben entenderse dentro de ese alcance. La publicación del índice no equivale a una réplica independiente, ni permite generalizar automáticamente el orden a todas las tareas, usuarios o configuraciones.
Qué sigue abierto
- Las puntuaciones y clasificaciones citadas proceden del anuncio de Artificial Analysis; no hay en la evidencia disponible una réplica independiente de los resultados.
- El anuncio describe medidas relacionadas con la privacidad de las tareas y la revisión de conjuntos, pero la evidencia disponible no permite comprobar de forma independiente cómo se controla la contaminación en todas las evaluaciones.
- La diferencia entre v4.3 y v5 no permite aislar el efecto de cada cambio metodológico, de las ponderaciones y del desempeño de los modelos.
Continúa explorando
Fuentes consultadas
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección