Artificial Analysis publie l’Intelligence Index v5 : 60 % repose sur des tests privés ou des réponses réservées

Une nouvelle version, de nouveaux tests et un classement remanié

Artificial Analysis a publié le 27 octobre 2026 la version 5 de son Intelligence Index, un indice composite qui compare des modèles sur des tâches liées aux usages actuels. Cette mise à jour modifie à la fois les évaluations et la manière d’interpréter les résultats : l’organisme indique que 60 % de l’indice repose désormais sur des jeux de test privés ou des réponses réservées.

Artificial Analysis place Claude Opus 5.5, avec le niveau d’effort maximal, en tête avec 58 points, devant GPT-6 Astra à 57 et GPT-6.1 Sol à 55. Ce sont les résultats publiés par l’organisme qui conçoit et réalise l’indice ; les éléments disponibles ne comprennent pas de reproduction indépendante permettant de confirmer ces scores. En outre, un classement composite résume un protocole précis : il ne démontre pas que le modèle arrivé premier soit le meilleur pour chaque tâche, chaque coût ou chaque environnement d’utilisation.

Deux nouvelles évaluations et trois mises à jour

La version 5 ajoute FrontierCode 2.0, un benchmark privé de Cognition composé de 132 tâches dans des dépôts de logiciels libres. L’évaluation porte notamment sur la question de savoir si la personne responsable du dépôt accepterait la modification proposée par l’agent ; l’annonce précise également que les tâches restent privées afin de limiter la contamination. Artificial Analysis indique exécuter chaque tâche trois fois dans son environnement d’évaluation. Cela décrit le protocole déclaré, mais ne permet pas de conclure que la contamination a été éliminée ou que des tiers peuvent reproduire les résultats.

L’autre nouvelle évaluation, Terminal-Bench-Science, comprend 70 tâches de recherche scientifique exécutées dans un environnement de terminal. L’annonce indique que des spécialistes conçoivent et examinent les tâches et qu’une tâche n’est considérée comme réussie que si tous ses tests passent. La mise à jour intègre aussi HLE-Diamond, une sélection de 1 000 questions réparties à parts égales entre raisonnement et connaissances ; AA-Omniscience v1.1, dont le jeu de questions a été remanié ; et une version privée et difficile de CritPt v2, limitée à 40 questions.

Comment les pondérations de l’indice sont réparties

L’Intelligence Index v5 attribue 25 % à chacun de ses quatre domaines : travail intellectuel, programmation, sciences et évaluation générale. Dans chaque domaine, le poids est réparti entre neuf évaluations. Le résultat dépend donc à la fois des performances obtenues à chaque test et des choix relatifs aux tests retenus et à leur pondération.

La composition compte lorsqu’on compare plusieurs versions. Artificial Analysis conserve AA-Briefcase, AutomationBench-AA, GDP.pdf et Terminal-Bench 4.0 ; ajoute de nouveaux tests et des versions révisées ; et retire GDPval-AA v2.1, SciCode et AA-LCR v1.1. Une différence entre v4.3 et v5 ne doit donc pas être interprétée automatiquement comme une amélioration ou une baisse équivalente des capacités générales : la sélection des évaluations a changé, tout comme les performances des modèles peuvent varier selon les tâches retenues.

Dans cette mesure, l’écart entre les modèles à poids ouverts s’accentue

Dans le tableau publié, Kimi K3.1 Pro obtient 46 points et arrive en tête des modèles à poids ouverts, même si l’annonce précise que ses poids n’étaient pas encore publiés. Artificial Analysis compare ce score aux 58 points de Claude Opus 5.5 et indique un écart de 12 points, contre 3 dans la version v4.3. Cette comparaison correspond aux scores et aux versions présentés par le fournisseur ; elle ne démontre pas, à elle seule, que les changements de l’indice ont causé l’élargissement de l’écart.

Si l’on ne retient que les modèles dont les poids sont indiqués comme publiés dans l’annonce, DeepSeek V4.1 Flash 1017 et GLM-5.3 sont à égalité en tête de ce groupe avec 32 points. Dans ce classement précis, la catégorie « poids ouverts » ne signifie pas nécessairement que les poids sont déjà disponibles : le cas de Kimi montre pourquoi il est utile de distinguer la catégorie de comparaison de la disponibilité effective du modèle.

Un indice ne remplace pas l’évaluation de son propre cas d’usage

L’indice montre également qu’aucun modèle n’arrive en tête de toutes les évaluations. Dans les résultats publiés, Claude Opus 5.5 domine FrontierCode 2.0, HLE-Diamond et AA-Omniscience v1.1 ; GPT-6 Astra arrive premier sur Terminal-Bench-Science et le sous-ensemble difficile de CritPt v2. D’autres modèles occupent la première place dans des tests précis de travail intellectuel, d’automatisation, de génération de documents ou de tâches en terminal. Cette diversité indique que le classement général peut masquer des forces et des faiblesses propres à certaines tâches.

Le coût et la configuration modifient également la comparaison pratique. Artificial Analysis publie de fortes différences de coût par tâche entre les modèles les mieux classés et indique que le niveau d’effort peut s’accompagner de variations importantes de score et de coût. Ces valeurs dépendent des conditions d’exécution décrites par le fournisseur et ne garantissent pas les mêmes performances ou le même prix dans une application particulière. Pour choisir un modèle, il est utile de comparer des tâches représentatives, les exigences de qualité, la latence, le coût et les conditions de déploiement propres à son contexte.

Transparence et limites des résultats publiés

L’utilisation de jeux de données privés peut réduire l’exposition publique des questions et des réponses, mais elle limite aussi la possibilité pour des tiers de reproduire exactement les tests. L’annonce signale que certaines évaluations sont privées et décrit des mesures précises : les tâches de FrontierCode 2.0 restent confidentielles et les questions publiques ou saturées ont été retirées d’AA-Omniscience v1.1. Les éléments disponibles ne décrivent pas suffisamment les contrôles de contamination pour l’ensemble des tests et ne permettent pas d’en confirmer les effets. Il ne serait donc pas justifié d’affirmer que les tâches sont à l’abri de toute contamination.

La lecture la plus prudente consiste à considérer v5 comme une mesure composite publiée par l’organisme qui la produit, utile pour observer des différences dans le cadre de son protocole et de ses pondérations. Les scores précis, les comparaisons avec les versions précédentes et les écarts entre catégories de modèles doivent être compris dans cette limite. La publication de l’indice ne vaut pas réplication indépendante et ne permet pas de généraliser automatiquement le classement à toutes les tâches, à tous les utilisateurs ou à toutes les configurations.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.