AesCode Infographics Content: Was wird bewertet, wie wird es ausgeführt und was verhindert einen direkten Vergleich?

Einführung: Die Rolle der Kennzahl Content in AesCode

Die Generierung von Infografiken als Code bringt zwei Anforderungen zusammen: Daten müssen korrekt sein, und das Ergebnis soll visuell überzeugen. AesCode, entwickelt von Microsoft und Mitwirkenden, begegnet diesem Spannungsfeld, indem es die Prüfung von Inhalten ausdrücklich von der visuellen Bewertung trennt. Die Kennzahl „Content“ ist eine der Komponenten des Visual-Werts im Benchmark mit 300 Infografik-Beispielen.

Anders als „Chart“ und „Bound“, die mit deterministischen Prüfungen in den Rule-Wert eingehen, gehört „Content“ zur visuellen, wahrnehmungsbezogenen Bewertung. Sie soll nicht feststellen, ob eine Zahl im Code vorkommt, sondern ob die im Prompt geforderten Elemente in der fertigen Darstellung vorhanden und vollständig sind. Dieser Unterschied ist wichtig: Die Kennzahl lässt sich nicht ohne Weiteres auf andere Benchmarks für Code- oder Bildgenerierung übertragen.

Für die Interpretation ist entscheidend, dass „Content“ nicht den gesamten Informationsgehalt einer Infografik zu einer einzigen allgemeinen Qualitätsaussage verdichtet. Die Kennzahl bezieht sich enger auf die Frage, ob die im Prompt verlangten visuellen Komponenten in der gerenderten Ausgabe vorkommen und vollständig sind. Damit bleibt sie an die konkrete Aufgabenstellung gebunden: Bewertet wird nicht, ob eine Darstellung insgesamt überzeugend oder sachlich umfassend wirkt, sondern ob die dort geforderten Elemente erkennbar umgesetzt wurden. Eine gute Bewertung ist folglich als Hinweis auf diese eng umrissene semantische Übereinstimmung zu lesen, nicht als Nachweis für jede andere Eigenschaft des Ergebnisses.

Diese Abgrenzung erklärt auch, warum der Blick auf den gerenderten Zustand für die Kennzahl maßgeblich ist. Ein Element, das lediglich im erzeugten HTML, in CSS oder in zugrunde liegenden Daten vorkommt, ist nicht schon deshalb in der visuellen Ausgabe vorhanden. Umgekehrt beantwortet eine sichtbare Komponente für sich genommen nicht, ob die zugehörigen Zahlen korrekt sind. Die getrennten Bewertungsdimensionen halten diese Fragen auseinander: Content betrifft die Präsenz und Vollständigkeit der verlangten Bestandteile, während andere Kennzahlen jeweils andere Eigenschaften der Umsetzung erfassen. So lässt sich vermeiden, einen einzelnen Teilwert als umfassendes Urteil über die Infografik zu missverstehen.

Aufbau der Suite: Wie die Kennzahlen zusammenwirken

AesCode gliedert die Auswertung in zwei Hauptbereiche: Rule und Visual. Rule ist der Mittelwert der deterministischen Prüfungen Text, Bound und Chart. Diese Prüfungen untersuchen HTML/CSS, das DOM sowie die strukturierten Daten von Tabellen und ECharts-Diagrammen.

Visual ist dagegen der Mittelwert dreier Dimensionen, die ein Vision-Language-Modell (VLM) anhand einer Checkliste bewertet: Content, Layout und Style. Content fragt, ob die verlangten Elemente vorhanden und vollständig sind. Layout bewertet Anordnung, Beziehungen und Überlappungen. Style beurteilt Hierarchie, Typografie und gestalterische Ausarbeitung. Overall ist der Mittelwert aus Rule und Visual. Durch diese Aufteilung lässt sich erkennen, ob ein Modell zwar korrekt, aber gestalterisch schwach ist oder umgekehrt visuell ansprechend, aber inhaltlich ungenau.

Die Mittelwertbildung macht die beiden Bewertungsbereiche zwar zu zusammenfassenden Scores, lässt ihre unterschiedlichen Prüfgrundlagen aber bestehen. Rule stützt sich auf deterministische Prüfungen für Text, Begrenzung und Datenstrukturen; Visual fasst dagegen Urteile des VLM zu Content, Layout und Style zusammen. Ein gleicher Zahlenwert in diesen Bereichen bedeutet deshalb nicht, dass dieselbe Eigenschaft auf dieselbe Weise geprüft wurde. Bei der Deutung sollte stets mitgedacht werden, ob ein Ergebnis aus einer Code- beziehungsweise Datenprüfung oder aus einer visuellen Checkliste stammt.

Die Kennzahlen ergänzen sich, ersetzen einander jedoch nicht. Ein korrekt erfasster Text oder eine geprüfte Diagrammstruktur beantwortet nicht automatisch, ob alle vom Prompt geforderten Komponenten in der gerenderten Infografik sichtbar und vollständig sind. Ebenso reicht eine positive visuelle Einschätzung der vorhandenen Elemente nicht aus, um daraus die numerische Richtigkeit abzuleiten. Gerade weil die Suite verschiedene Fehlerarten auseinanderhält, sind Einzelwerte aussagekräftiger, wenn sie gemeinsam mit den übrigen Dimensionen und dem übergeordneten Score betrachtet werden. Dabei bleibt wichtig, dass der Gesamtmittelwert die einzelnen Teilwerte zusammenfasst, ihre jeweiligen Grenzen aber nicht aufhebt.

Auch die Aufgaben der drei Visual-Dimensionen sind nicht austauschbar. Content richtet den Blick auf die verlangten Elemente, Layout auf deren Anordnung und räumliche Beziehungen und Style auf Hierarchie, Typografie und gestalterische Ausarbeitung. Eine Infografik kann daher die Anforderungen an eine Dimension erfüllen, während sie bei einer anderen Schwächen zeigt. Aus dem Content-Wert allein folgt weder, dass die räumliche Organisation gelungen ist, noch, dass die Gestaltung überzeugend wirkt. Die Aufteilung hilft, ein auffälliges Gesamtergebnis genauer einzuordnen, ohne aus einem Teilurteil mehr abzuleiten, als es tatsächlich abdeckt.

Methodik und Ausführung der Kennzahl Content

Content wird nicht anhand fester Syntaxregeln berechnet, sondern mithilfe einer VLM-Bewertung. Aus den Anforderungen des Prompts entsteht eine Liste von Ja-Nein-Fragen, die auf das jeweilige Beispiel zugeschnitten sind. Die Fragen beziehen sich auf Knoten und Beziehungen im Zieldesigngraphen.

Das VLM beurteilt die gerenderte Ausgabe des generierten Codes anhand dieser Fragen. Der Content-Wert entspricht dem Anteil der Fragen, die bestanden werden. Dabei ist eine wichtige Einschränkung zu beachten: Die verfügbaren Quellen bieten keine ausreichende Grundlage, um die genaue Gewichtung der Fragen oder das vollständige Verfahren zur Erstellung der Checkliste unabhängig zu reproduzieren. Der offizielle Repository-Code dokumentiert zwar wesentliche Teile des Systems, macht aber nicht automatisch jeden Bestandteil eines vollständigen, unabhängigen Replikationsprotokolls verfügbar.

Die Checkliste übersetzt die jeweilige Aufgabenstellung in prüfbare Einzelfragen. Ihre Bindung an den Zieldesigngraphen ist dabei relevant: Bewertet werden nicht beliebige Merkmale einer Infografik, sondern Elemente und Beziehungen, die für das konkrete Ziel vorgesehen sind. Die Fragen unterscheiden sich deshalb von Beispiel zu Beispiel. Ein Content-Wert ist somit nicht bloß eine allgemeine Sichtprüfung, sondern das Ergebnis einer auf die Anforderungen des jeweiligen Prompts zugeschnittenen Abfrage der gerenderten Ausgabe.

Die binäre Form der Fragen macht den Auswertungsschritt nachvollziehbar, sofern die Checkliste bekannt ist: Für jede Frage wird festgehalten, ob die sichtbare Ausgabe die geforderte Bedingung erfüllt; aus den bestandenen Fragen ergibt sich die angegebene Pass-Rate. Diese Darstellung darf jedoch nicht mit einem vollständig reproduzierbaren Verfahren verwechselt werden. Solange die genaue Gewichtung der Fragen und die vollständige Erzeugung der Checkliste nicht unabhängig nachvollzogen werden können, lässt sich aus der Pass-Rate nicht sicher rekonstruieren, welchen Einfluss jede einzelne Frage auf den Endwert hatte. Die beschriebenen Arbeitsschritte erklären den grundsätzlichen Ablauf, schließen aber diese Dokumentationslücke nicht.

Die Browser-Renderisierung bildet eine wichtige Verbindung zwischen dem erzeugten Code und der visuellen Prüfung. Das VLM beurteilt die dargestellte Ausgabe anhand der Checklistenfragen; der Quelltext allein ist nicht der Gegenstand seines Content-Urteils. Damit hängt die Bewertung an dem Zustand, den die Ausführung in der vorgesehenen Umgebung sichtbar macht. Für eine Interpretation sollte der Content-Wert daher als Urteil über diese gerenderte Darstellung verstanden werden, nicht als unmittelbare Kontrolle sämtlicher Inhalte oder Eigenschaften des zugrunde liegenden Codes.

Der Ablauf lässt sich als Abfolge verschiedener, voneinander abhängiger Entscheidungen lesen: Zunächst werden Anforderungen in einen Zielgraphen überführt, anschließend werden daraus Fragen für das einzelne Beispiel formuliert. Danach entsteht durch das Rendern eine visuelle Grundlage, auf die das VLM seine Antworten bezieht. Erst die Zusammenfassung dieser Antworten ergibt den Wert. Unsicherheit oder Unvollständigkeit in einem früheren Schritt kann deshalb die Aussagekraft des späteren Scores begrenzen; die bloße Angabe einer Zahl macht die vorausgehende Checkliste und ihre Konstruktion nicht transparent.

Grenzen und Vergleichbarkeit mit anderen Benchmarks

Der Content-Wert hängt von einer VLM-Bewertung und einer auf das jeweilige Beispiel zugeschnittenen Checkliste ab. Deshalb ist ein direkter Vergleich mit Benchmarks, die deterministische Kennzahlen oder andere Bewertungsmodelle und Kriterien verwenden, nicht ohne Weiteres möglich. Die Autoren berichten von einer hohen Übereinstimmung der visuellen Werte mit menschlichen Urteilen. Eine unabhängige Bestätigung dieser Aussage ist in den hier verfügbaren Belegen jedoch nicht dokumentiert.

Außerdem bewertet Content, ob Elemente vorhanden sind; die Genauigkeit numerischer Angaben fällt in den Zuständigkeitsbereich von Chart. Ein Modell kann also bei Content gut abschneiden und dennoch falsche Daten darstellen. Eine rein visuelle Betrachtung würde das nicht zuverlässig erfassen. Für eine umfassendere Einordnung sollte Content daher zusammen mit Rule und den übrigen Visual-Dimensionen betrachtet werden.

Die Vergleichbarkeit hängt nicht nur davon ab, ob zwei Systeme denselben Namen für eine Kennzahl verwenden. Entscheidend ist auch, welche Anforderungen in die Prüfung eingehen, wie die Fragen formuliert und bewertet werden und auf welche Bewertungsgrundlage das Urteil gestützt ist. Ein Content-Wert aus einer beispielspezifischen VLM-Checkliste ist daher nicht ohne Weiteres mit einem Wert gleichzusetzen, der nach festen Regeln, anhand anderer Kriterien oder über ein anderes Bewertungsmodell zustande kommt. Ohne angeglichene Bedingungen kann ein Zahlenvergleich Unterschiede in der Messmethode mit Unterschieden in der Modellleistung vermischen.

Die berichtete Übereinstimmung visueller Bewertungen mit menschlichen Urteilen kann für die Einordnung relevant sein, ersetzt aber keine unabhängige Bestätigung. Solange eine solche Replikation nicht dokumentiert ist, sollte die Aussage als berichtetes Ergebnis und nicht als allgemein abgesicherte Eigenschaft des Verfahrens behandelt werden. Dasselbe gilt für die Grenzen bei der Rekonstruktion der Checkliste: Ein erklärter Bewertungsablauf kann nützlich sein, obwohl einzelne Details der Gewichtung oder Erstellung offenbleiben. Diese Offenheit mindert nicht automatisch jeden möglichen Nutzen des Scores, begrenzt jedoch, wie genau sich seine Entstehung von außen überprüfen lässt.

Besonders wichtig ist die Unterscheidung zwischen dem Vorhandensein eines geforderten Datenelements und dessen Richtigkeit. Content kann anzeigen, dass verlangte Bestandteile in der Darstellung vorhanden und vollständig erscheinen; daraus folgt keine Bestätigung, dass dargestellte Zahlen korrekt sind. Diese Frage gehört zur Chart-Prüfung innerhalb von Rule. Umgekehrt bedeutet eine gute Chart-Bewertung nicht automatisch, dass sämtliche vom Prompt geforderten visuellen Komponenten vollständig umgesetzt wurden. Wer nur einen der Werte heranzieht, lässt daher eine andere, ausdrücklich getrennte Prüfaufgabe unberücksichtigt.

Ein scheinbar widersprüchliches Profil muss deshalb nicht auf einen Widerspruch in der Messung hindeuten. Hohe Werte bei Rule und niedrigere Werte bei Visual können auf unterschiedliche Stärken und Schwächen entlang der getrennten Kriterien verweisen; ebenso kann ein günstiges visuelles Urteil eine Schwäche bei den deterministisch geprüften Anforderungen nicht ausschließen. Für belastbare Schlussfolgerungen sollten die Einzelwerte zusammen betrachtet werden, ohne sie zu einem pauschalen Urteil über alle Aspekte der Ausgabe zu verschmelzen. Diese gemeinsame Betrachtung verbessert die Einordnung, hebt aber die methodischen Grenzen der einzelnen Messungen nicht auf.

Fazit und Empfehlungen für ML-Teams

Content ist ein nützlicher Baustein zur Bewertung der semantischen Vollständigkeit codegenerierter Infografiken. In Verbindung mit den weiteren Kennzahlen liefert die AesCode-Suite ein differenzierteres Bild der Modellleistung. Der Wert sollte jedoch im Kontext des gesamten Systems gelesen werden, insbesondere zusammen mit Rule, Layout und Style.

Teams, die die Kennzahl einsetzen möchten, sollten den offiziellen AesCode-Code und die dort dokumentierten Beispiele prüfen. Für die Ausführung der Bewertungsumgebung sind unter anderem Playwright, PaddleOCR und ein kompatibles VLM relevant. Vor einem Vergleich mit anderen Systemen sollte außerdem geklärt werden, welche Checkliste, Modellversion und Ausführungsbedingungen verwendet wurden. Wo Angaben zu Checklistenbildung oder Validierung nicht vollständig belegt sind, müssen diese Unsicherheiten bei der Interpretation erhalten bleiben.

Für eine sorgfältige Nutzung empfiehlt es sich, den Wert zunächst als Teilprofil zu lesen: Welche Anforderungen wurden visuell als erfüllt gewertet, und welche anderen Dimensionen wurden separat geprüft? Der Score kann dabei helfen, die semantische Vollständigkeit der konkreten Ausgabe einzuschätzen, sollte aber nicht allein als Urteil über die Gesamtqualität dienen. Insbesondere darf ein hoher Content-Wert nicht als Beleg für numerische Korrektheit oder gestalterische Ausarbeitung ausgelegt werden. Diese Aussagen erfordern die jeweils dafür vorgesehenen Kennzahlen.

Bei einem Vergleich ist außerdem wichtig, die Bewertungsbedingungen gemeinsam mit den Ergebnissen festzuhalten. Dazu gehören die verwendete Checkliste, die Modellversion und die Ausführungsbedingungen, soweit sie bekannt sind. Sind Angaben zur Erstellung der Checkliste oder zur Validierung nicht vollständig dokumentiert, sollte diese Unsicherheit bei der Schlussfolgerung ausdrücklich bestehen bleiben, statt durch eine scheinbar präzise Rangfolge verdeckt zu werden. Gleiche Zahlen lassen sich nur dann sinnvoll nebeneinanderstellen, wenn die zugrunde liegenden Kriterien ausreichend vergleichbar sind.

Das Zahlenbeispiel zeigt, warum ein einzelner Teilwert keine vollständige Diagnose liefert. Ein Content-Ergebnis von 86,41 beschreibt die Bewertung der verlangten Elemente, während 90,07 bei Rule die dort zusammengefassten deterministischen Prüfungen betrifft. Daraus allein sollte weder gefolgert werden, dass jede Zahl in der Grafik korrekt ist, noch dass die Darstellung gestalterisch gelungen ist: Dafür sind die jeweiligen Prüfgegenstände maßgeblich. Ein Style-Wert von 53,21 kann daneben eine schwächere Bewertung der gestalterischen Ausarbeitung anzeigen. Die Werte geben somit unterschiedliche Perspektiven auf dasselbe Ergebnis wieder; ihre gemeinsame Betrachtung ist informativer als eine Gleichsetzung oder die isolierte Hervorhebung eines Scores.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.