Exakte Version
Prüfe Modellkennung, Datum und ob sich der Alias ändern kann.
Veröffentlichte Ergebnisse und von den Quellen angegebene Bedingungen. Zahlen sind nur vergleichbar, wenn Version, Konfiguration, Metrik und Datum übereinstimmen.
| Modell | Organisation | Ergebnis | Metrik | Bedingungen |
|---|---|---|---|---|
| AesCode 8B | Microsoft | 88,36 % | Prozent | Microsoft · 300 Infografiken · drei Generierungen pro Prompt · mit Referenz · höher ist besser · nicht von Inferama reproduziert. |
| AesCode 32B | Microsoft | 97,27 % | Prozent | Microsoft · 300 Infografiken · drei Generierungen pro Prompt · mit Referenz · höher ist besser · nicht von Inferama reproduziert. |
Prüfe Modellkennung, Datum und ob sich der Alias ändern kann.
Prüfe Werkzeuge, Aufwand, Anzahl der Versuche, Prompt und Inferenzbudget.
Validiere das Ergebnis mit Aufgaben, Sprachen, Formaten und Fehlern, die für dein Produkt repräsentativ sind.
Ein öffentlicher Benchmark bietet Orientierung, ersetzt jedoch keine Bewertung mit deinen Daten, Tools, deinem Budget und deiner Fehlertoleranz.
Ein beweglicher Alias und ein Snapshot können unterschiedliche Ergebnisse liefern. Erfasse Modell, Datum und Anbieter.
Prompt, Reasoning, Tools, Anzahl der Versuche und Budget müssen für einen Vergleich gleichwertig sein.
Ein kleiner Unterschied kann zwischen Ausführungen verschwinden. Bewahre Stichproben, Streuung und Fehler auf, nicht nur den Mittelwert.
Validiere, ob die Verbesserung über Sprachen, Formate und reale Fälle hinweg Bestand hat, die deinem Produkt nahekommen.
Eine Metrik ist nur dann nützlich, wenn wir die Aufgabe, die Bedingungen und den Fehler kennen, auf die es ankommt. Das Ergebnis beginnt bereits bei der Gestaltung des Tests.
Die öffentliche Dokumentation beschreibt den Chart-Kanal, nennt Ergebnisse und stellt Evaluierungscode bereit. Die Datensätze selbst werden jedoch nicht veröffentlicht. Das schränkt die unabhängige Reproduktion und die Interpretation der Punktwerte ein.
16 Okt 2026 ↗ ANALISISMethodische Analyse der Metrik 'Bound' in der Evaluierungssuite von Microsofts AesCode. Es wird ihre Funktion als programmatische Einschränkung bei der Infografik-Generierung, ihre Integration in andere Metriken und die Grenzen der Vergleichbarkeit zwischen Modellen untersucht.
16 Okt 2026 ↗