Artificial Analysis veröffentlicht Intelligence Index v5: 60 Prozent beruhen auf privaten Tests oder zurückgehaltenen Antworten

Eine neue Version mit geänderten Tests und einer neuen Rangfolge

Artificial Analysis veröffentlichte am 27. Oktober 2026 Version 5 seines Intelligence Index, eines zusammengesetzten Index zum Vergleich von Modellen bei Aufgaben, die heutige Anwendungsfälle abbilden sollen. Die Aktualisierung verändert sowohl die Evaluationen als auch die Grundlage für die Interpretation der Ergebnisse: Nach Angaben des Anbieters beruhen nun 60 Prozent des Index auf Tests mit privaten Datensätzen oder zurückgehaltenen Antworten.

In der veröffentlichten Rangliste erreicht Claude Opus 5.5 mit maximaler Anstrengung 58 Punkte. Dahinter folgen GPT-6 Astra mit 57 und GPT-6.1 Sol mit 55 Punkten. Diese Ergebnisse stammen von der Organisation, die den Index entwickelt und die Tests durchführt. Die verfügbaren Belege enthalten keine unabhängige Wiederholung, mit der sich die Punktzahlen bestätigen ließen. Zudem fasst eine Gesamtwertung ein bestimmtes Testdesign zusammen: Sie belegt nicht, dass das bestplatzierte Modell für jede Aufgabe, jedes Budget oder jede Einsatzumgebung die beste Wahl ist.

Zwei neue Evaluationen und drei Überarbeitungen

Version 5 ergänzt FrontierCode 2.0, einen privaten Benchmark von Cognition mit 132 Aufgaben in Open-Source-Code-Repositories. Bewertet wird, ob eine für das Repository verantwortliche Person die Änderung des Agenten übernehmen würde. Laut Ankündigung bleiben die Aufgaben privat, um eine Verfälschung durch vorherige Kenntnis zu begrenzen. Artificial Analysis gibt an, jede Aufgabe dreimal in seiner Evaluationsumgebung auszuführen. Das beschreibt das angegebene Verfahren, belegt aber weder, dass eine Verfälschung ausgeschlossen ist, noch, dass Dritte die Ergebnisse reproduzieren können.

Der zweite neue Test, Terminal-Bench-Science, umfasst 70 wissenschaftliche Forschungsaufgaben in einer Terminal-Umgebung. Laut Ankündigung werden die Aufgaben von Fachleuten zusammengestellt und geprüft; eine Aufgabe gilt nur dann als bestanden, wenn alle zugehörigen Tests bestanden werden. Darüber hinaus führt die Aktualisierung HLE-Diamond ein, eine Auswahl von 1.000 Fragen, die zu gleichen Teilen aus Fragen zu Schlussfolgerungen und Wissen besteht. Hinzu kommen AA-Omniscience v1.1 mit einem überarbeiteten Fragenkatalog sowie eine private, anspruchsvolle Teilmenge von CritPt v2 mit 40 Fragen.

So verteilt sich die Gewichtung des Index

Intelligence Index v5 gewichtet vier Bereiche jeweils mit 25 Prozent: Wissensarbeit, Programmierung, Wissenschaft und allgemeine Fähigkeiten. Innerhalb dieser Bereiche verteilt sich das Gewicht auf neun Evaluationen. Das Gesamtergebnis hängt somit sowohl von der Leistung in den einzelnen Tests als auch davon ab, welche Tests einbezogen und wie stark sie gewichtet werden.

Die Zusammensetzung ist wichtig, wenn Versionen miteinander verglichen werden. Artificial Analysis behält AA-Briefcase, AutomationBench-AA, GDP.pdf und Terminal-Bench 4.0 bei, ergänzt die neuen Tests und überarbeiteten Versionen und entfernt GDPval-AA v2.1, SciCode und AA-LCR v1.1. Ein Unterschied zwischen v4.3 und v5 lässt sich deshalb nicht automatisch als gleich große allgemeine Fähigkeitssteigerung oder -minderung verstehen: Der Testsatz hat sich geändert, und auch die Leistung der Modelle bei diesen spezifischen Aufgaben kann unterschiedlich ausfallen.

Der Abstand zwischen Modellen mit offenen Gewichten fällt in dieser Messung größer aus

In der veröffentlichten Tabelle erreicht Kimi K3.1 Pro 46 Punkte und liegt damit unter den Modellen mit offenen Gewichten vorn. In der Ankündigung steht jedoch, dass die Gewichte zu diesem Zeitpunkt noch nicht veröffentlicht waren. Artificial Analysis vergleicht den Wert mit den 58 Punkten von Claude Opus 5.5 und beziffert den Abstand auf zwölf Punkte, gegenüber drei Punkten in v4.3. Dieser Vergleich bezieht sich auf die vom Anbieter veröffentlichten Punktzahlen und Versionen. Er belegt für sich genommen nicht, dass Änderungen am Index den größeren Abstand verursacht haben.

Betrachtet man ausschließlich Modelle, deren Gewichte laut Ankündigung veröffentlicht waren, liegen DeepSeek V4.1 Flash 1017 und GLM-5.3 mit jeweils 32 Punkten an der Spitze dieser Gruppe. In dieser konkreten Rangliste bedeutet die Bezeichnung „Modelle mit offenen Gewichten“ nicht zwangsläufig, dass die Gewichte bereits verfügbar sind. Kimi zeigt, warum es sinnvoll ist, die verwendete Vergleichskategorie von der tatsächlichen Verfügbarkeit des Modells zu unterscheiden.

Ein Index ersetzt nicht die Bewertung des konkreten Einsatzfalls

Der Index zeigt außerdem, dass kein Modell alle Evaluationen anführt. In den veröffentlichten Ergebnissen liegt Claude Opus 5.5 bei FrontierCode 2.0, HLE-Diamond und AA-Omniscience v1.1 vorn; GPT-6 Astra führt Terminal-Bench-Science und die anspruchsvolle Teilmenge von CritPt v2 an. Andere Modelle stehen bei einzelnen Tests zu Wissensarbeit, Automatisierung, Dokumentenerstellung oder Terminal-Aufgaben an der Spitze. Diese Unterschiede zeigen, dass die Gesamtrangliste spezifische Stärken und Schwächen verdecken kann.

Auch Kosten und Konfiguration beeinflussen den praktischen Vergleich. Artificial Analysis weist auf deutliche Unterschiede bei den Kosten pro Aufgabe unter den führenden Modellen hin und berichtet, dass die gewählte Anstrengungsstufe mit erheblichen Unterschieden bei Punktzahl und Kosten einhergehen kann. Diese Werte hängen von den vom Anbieter beschriebenen Ausführungsbedingungen ab und garantieren weder dieselbe Leistung noch denselben Preis in einer konkreten Anwendung. Bei der Modellauswahl sollten daher repräsentative Aufgaben, Qualitätsanforderungen, Latenz, Kosten und die eigenen Einsatzbedingungen miteinander verglichen werden.

Transparenz und Grenzen der veröffentlichten Belege

Private Testsätze können die öffentliche Verbreitung von Fragen und Antworten begrenzen, erschweren aber auch eine exakte Wiederholung der Tests durch Dritte. In der Ankündigung werden private Evaluationen und einige Schutzmaßnahmen beschrieben, etwa die Geheimhaltung der FrontierCode-2.0-Aufgaben und das Entfernen öffentlicher oder bereits gesättigter Fragen aus AA-Omniscience v1.1. Die verfügbaren Belege beschreiben nicht ausreichend, wie eine Verfälschung durch vorherige Kenntnis bei allen Tests kontrolliert wird, und ermöglichen keine unabhängige Prüfung der Wirksamkeit. Deshalb lässt sich nicht behaupten, die Aufgaben seien gegen eine solche Verfälschung immun.

Am vorsichtigsten ist es, v5 als eine vom verantwortlichen Anbieter veröffentlichte zusammengesetzte Messung zu lesen, die Unterschiede unter dem beschriebenen Protokoll und seinen Gewichtungen sichtbar macht. Konkrete Punktzahlen, Vergleiche mit früheren Versionen und Abstände zwischen Modellkategorien sind innerhalb dieses Rahmens zu interpretieren. Die Veröffentlichung des Index ist keine unabhängige Replikation und erlaubt es nicht, die Rangfolge automatisch auf alle Aufgaben, Nutzer oder Konfigurationen zu übertragen.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.