AesCode Infographics Style: Was die ästhetische Dimension misst und wie ihre Punktzahl zu interpretieren ist
Bild erstellt vom Redaktionsteam von Inferama
01

Umfang und bewertete Einheit

Die Dimension Style im AesCode-Benchmark misst weder die Datenkorrektheit noch die Code-Funktionalität, sondern die wahrgenommene ästhetische Qualität des generierten visuellen Artefakts. Sie ist Teil der aggregierten Metrik Visual, die zusätzlich die Dimensionen Content (Vorhandensein der erforderlichen Elemente) und Layout (räumliche Organisation und Beziehungen) umfasst.

Diese Trennung ist entscheidend: Eine Infografik kann eine hohe Style-Punktzahl aufgrund ihrer Typografie, Farbgebung und visuellen Hierarchie erzielen, während sie bei der Korrektheit der dargestellten Daten fehlschlägt. Der Generierungs-Prompt bleibt die Quelle der Wahrheit für den Inhalt, aber die Style-Bewertung konzentriert sich darauf, wie dieser Inhalt auf der Leinwand präsentiert wird, nicht darauf, ob die Daten exakt sind.

Die drei Dimensionen der Visual-Metrik beantworten unterschiedliche Fragen: Content prüft, ob die verlangten Bestandteile vorhanden sind, Layout betrachtet ihre Anordnung und räumlichen Beziehungen, und Style bewertet ihre visuelle Ausgestaltung. Der Durchschnitt bündelt diese Perspektiven, macht sie aber nicht austauschbar. Ein gutes Ergebnis in einer Dimension kann Schwächen in einer anderen nicht aufheben oder erklären.

Bei der Interpretation von Style sollte deshalb klar bleiben, was das Ergebnis tatsächlich erfasst: die Präsentation auf der Leinwand. Eine überzeugende Farbpalette oder gut lesbare Typografie sagt für sich genommen nichts darüber aus, ob eine Beschriftung den Prompt korrekt wiedergibt oder ein Diagramm die verlangten Inhalte vollständig enthält. Inhaltliche und ästhetische Qualität bleiben getrennte Prüfbereiche.

Aufschlüsselung der Visual-Metrik in AesCode

Die Visual-Punktzahl ist der Durchschnitt von drei unabhängigen Dimensionen, die von einem VLM bewertet werden.

DimensionWas bewertet wirdBewertungsmethode
ContentVorhandensein und Vollständigkeit der vom Prompt geforderten ElementeBeispelspezifische Ja/Nein-Fragen
LayoutOrganisation, räumliche Beziehungen und KollisionenBeispelspezifische Ja/Nein-Fragen
StyleHierarchie, Typografie, Farbe und Komponenten-FinishBeispelspezifische Ja/Nein-Fragen
02

Rekonstruktion der Methodik

Die Style-Punktzahl wird durch einen VLM-Richter (Vision-Language Model) ermittelt, der auf eine Liste boolescher Fragen antwortet, die aus den Prompt-Anforderungen abgeleitet sind. Diese Fragen sind Teil der Visual Graph Rubric (VGR), eines Satzes beispelspezifischer Kriterien, die aus dem Ziellayout abgeleitet und vor der Bewertung eingefroren werden.

Im Gegensatz zu deterministischen Metriken wie Text oder Boundary, die durch programmatische Überprüfung des Codes und des Renderings berechnet werden, hängt Style von der visuellen Wahrnehmung des bewertenden Modells ab. Die VGR stellt sicher, dass die Fragen an konkrete Elemente des Design-Graphen gebunden sind und vage holistische Urteile vermeidet. Die Endpunktzahl ist die Trefferquote (Pass Rate) über diese Fragen.

Die VGR übersetzt Anforderungen der jeweiligen Probe in einzelne, überprüfbare Fragen. Weil die Rubrik vor der Bewertung festgelegt wird, bewertet der VLM-Richter das Rendering anhand derselben Kriterien, statt erst im Nachhinein Maßstäbe an das Ergebnis anzulegen. Die Bindung an konkrete Elemente und Beziehungen des Designs soll mehrdeutige Gesamturteile begrenzen; sie macht das Urteil des Modells jedoch nicht zu einer deterministischen Messung.

Die Pass Rate lässt sich als Anteil der Style-Fragen verstehen, die der Richter mit „Ja“ beantwortet. Sie beschreibt damit die erfüllten Kriterien innerhalb dieser Rubrik, nicht eine allgemeingültige Skala für alle Eigenschaften eines Designs. Auch die einzelnen Fragen sind binär formuliert, während ihre Beantwortung weiterhin auf der visuellen Einschätzung des VLM beruht.

Der Ablauf trennt die Erzeugung des Artefakts von seiner Bewertung: Zunächst entsteht aus Prompt und gegebenenfalls Referenzbild HTML/CSS; anschließend rendert ein Browser den Code als Bild. Die VGR-Fragen beziehen sich auf das Design der jeweiligen Probe, und der Richter beantwortet sie anhand dieses Renderings. Die Punktzahl entsteht aus diesen Antworten, nicht aus einer direkten Prüfung, ob sämtliche Daten sachlich richtig sind.

Bewertungsfluss der Style-Dimension

Schritt-für-Schritt-Prozess zur Ermittlung der Style-Punktzahl in einer AesCode-Ausführung.

  1. 01Generierung des HTML/CSS-Codes aus dem Prompt und dem Referenzbild.
  2. 02Rendering des Codes im Browser, um das finale Bild zu erhalten.
  3. 03Extraktion der beispelspezifischen VGR-Rubrik (Ja/Nein-Fragen, die an das Design gebunden sind).
  4. 04Bewertung des Renderings durch den VLM-Richter durch Beantwortung der Style-Fragen.
  5. 05Berechnung der Trefferquote (Pass Rate) über die Style-Fragen.
03

Was eine Punktzahl erlaubt zu schließen

Eine hohe Style-Punktzahl zeigt an, dass das Artefakt die in der Rubrik definierten ästhetischen Kriterien erfüllt, wie z. B. Farbharmonie, typografische Lesbarkeit und das Fehlen unerwünschter Überlappungen. Sie garantiert nicht, dass die Daten korrekt sind, der Code effizient ist oder die Infografik für ihren kommunikativen Zweck nützlich ist.

Es ist entscheidend, zwischen ästhetischer Qualität und faktischer Korrektheit zu unterscheiden. Ein Modell kann ein visuell ansprechendes Design (hoher Style) mit Fehlern in den Diagrammwerten (niedrige Rule) erzeugen. Daher muss die Style-Punktzahl immer zusammen mit den Rule-Metriken (Text, Boundary, Chart) interpretiert werden, um ein vollständiges Bild der Artefaktqualität zu erhalten.

Eine hohe Style-Punktzahl ist daher als Ergebnis innerhalb der festgelegten ästhetischen Kriterien zu lesen. Sie besagt nicht, dass das Artefakt in jeder Hinsicht gelungen ist: Datenrichtigkeit, Codeeffizienz und kommunikative Eignung liegen außerhalb dessen, was Style allein nachweist. Die Kennzahl ersetzt keine Prüfung dieser Eigenschaften.

Der Vergleich mit Rule ist wichtig, weil beide Perspektiven unterschiedliche Fehler sichtbar machen können. Ein visuell ansprechendes Diagramm kann falsche Werte enthalten; umgekehrt sagt eine Prüfung von Text, Grenzen oder Diagrammdaten nicht automatisch aus, ob die Gestaltung ästhetisch überzeugend wirkt. Erst die gemeinsame Betrachtung der vorgesehenen Metriken erlaubt eine breitere Einschätzung, ohne daraus eine Garantie für die Gesamtqualität abzuleiten.

04

Ausführungs- und Vergleichsbedingungen

Damit zwei Style-Punktzahlen vergleichbar sind, müssen die folgenden Bedingungen konstant gehalten werden: das generierende Modell (AesCode-8B oder AesCode-32B), der Generierungs-Prompt, das Referenzbild (falls verwendet), der Renderer (Browser und Version) und die VGR-Rubrik für die jeweilige Probe.

Der AesCode-Benchmark verwendet 300 Infografik-Prompts mit drei Generierungen pro Prompt und ohne Auswahl der besten Ausgabe. Das bedeutet, dass die berichtete Punktzahl ein Durchschnitt mehrerer Ausführungen ist, was die zufällige Varianz reduziert, aber die Empfindlichkeit gegenüber den Rendering-Bedingungen und der VLM-Richter-Konfiguration nicht eliminiert.

Vergleichbarkeit setzt nicht nur dieselbe Modellbezeichnung voraus. Auch Prompt, Referenzbild, Browser und dessen Version sowie die für die Probe festgelegte VGR müssen übereinstimmen, weil diese Bedingungen beeinflussen, welches Bild entsteht und nach welchen Kriterien es bewertet wird. Ändert sich eine dieser Bedingungen, kann sich die Bedeutung des Vergleichs ändern.

Drei Generierungen pro Prompt und der Verzicht auf die Auswahl einer besten Ausgabe machen die berichtete Punktzahl zu einem Mittelwert über mehrere Ausführungen. Die Mittelung kann zufällige Unterschiede zwischen Generierungen verringern, beseitigt aber nicht die Empfindlichkeit gegenüber Rendering-Bedingungen oder der Konfiguration des VLM-Richters. Ein Durchschnitt ist deshalb kein Beleg dafür, dass einzelne Ausgaben gleich ausfallen.

Kritische Variablen für die Vergleichbarkeit von Style

Faktoren, die bei dem Vergleich von Style-Punktzahlen zwischen verschiedenen Modellen oder Konfigurationen kontrolliert werden müssen.

VariableBeschreibungAuswirkung auf Style
Generierendes ModellAesCode-8B vs. AesCode-32BHoch: größere Designkapazität
ReferenzbildVorhandensein oder Fehlen eines visuellen ReferenzbildesHoch: leitet Stil und Verteilung
RendererBrowser und Chromium-VersionMittel: beeinflusst die Rendering-Treue
VGR-RubrikBeispelspezifische FragenHoch: definiert die Bewertungskriterien
05

Messrisiken und Grenzen

Die Style-Metrik ist den Verzerrungen des VLM-Richters unterworfen, der eigene ästhetische Präferenzen haben oder Schwierigkeiten bei der Bewertung bestimmter Designarten haben kann. Darüber hinaus kann die VGR-Rubrik, obwohl beispelspezifisch, nicht alle Dimensionen der ästhetischen Qualität erfassen, wie z. B. semantische Kohärenz oder Nutzbarkeit.

Ein weiteres Risiko ist die Optimierung der Punktzahl ohne Verbesserung der kommunikativen Nützlichkeit. Ein Modell könnte lernen, Designs zu erzeugen, die die Rubrik-Kriterien erfüllen (z. B. durch Verwendung spezifischer Farben oder gängiger Typografien), ohne die Klarheit oder Wirksamkeit der Infografik zu verbessern. Daher muss die Style-Punktzahl mit Vorsicht interpretiert und durch menschliche Bewertungen oder Nutzbarkeitsmetriken ergänzt werden.

Die VGR begrenzt die Bewertung auf Kriterien, die für eine Probe festgelegt wurden; sie kann dennoch Aspekte auslassen, die sich nicht in diesen Fragen wiederfinden. Dazu zählen etwa semantische Kohärenz oder Nutzbarkeit. Außerdem kann die visuelle Einschätzung des VLM-Richters durch eigene ästhetische Präferenzen geprägt sein oder bei bestimmten Gestaltungen Schwierigkeiten bereiten. Die Rubrik macht solche Grenzen nicht automatisch unschädlich.

Eine Optimierung auf die Rubrik kann deren Kriterien besser treffen, ohne dass die Infografik dadurch klarer oder wirksamer wird. Werden beispielsweise Farben oder Typografien so gewählt, dass sie erwartete Stilfragen erfüllen, sagt das allein noch nichts über die Verständlichkeit für den Nutzer aus. Menschliche Bewertungen oder Nutzbarkeitsmetriken können deshalb ergänzende Hinweise liefern, sind aber nicht mit der Style-Punktzahl gleichzusetzen.

06

Lese- und Reproduktionsprotokoll

Um eine Style-Punktzahl korrekt zu reproduzieren oder zu interpretieren, ist es erforderlich, die Modellversion, den genauen Prompt, das Referenzbild (falls zutreffend) und die Renderer-Konfiguration zu dokumentieren. Außerdem muss die verwendete VGR-Rubrik aufbewahrt werden, da die beispelspezifischen Fragen ein integraler Bestandteil des Protokolls sind.

Es wird empfohlen, die Ausführungen mehrfach zu wiederholen, um die Varianz zu quantifizieren und die mit der Punktzahl verbundene Unsicherheit zu berichten. Der Vergleich zwischen Modellen muss auf demselben Prompt-Satz und unter denselben Rendering- und Bewertungsbedingungen erfolgen, um fehlerhafte Schlussfolgerungen zu vermeiden.

Für eine nachvollziehbare Reproduktion müssen die Bedingungen zusammen dokumentiert werden: Modellversion, genauer Prompt, gegebenenfalls das verwendete Referenzbild und die Konfiguration des Renderers. Die VGR gehört ebenfalls dazu, weil ihre probeabhängigen Fragen festlegen, welche Stilmerkmale in die Pass Rate eingehen. Ohne die Rubrik ist die Punktzahl nicht vollständig interpretierbar.

Wiederholte Ausführungen helfen dabei, die Streuung zwischen Generierungen zu beschreiben und die Unsicherheit der Punktzahl einzuordnen. Ein belastbarer Vergleich zwischen Modellen erfordert denselben Prompt-Satz und dieselben Rendering- und Bewertungsbedingungen. Auch dann beschreibt das Ergebnis die Leistung unter diesen Bedingungen; es beweist weder identische Resultate bei jeder Ausführung noch eine universelle ästhetische Qualität.

Checkliste zur Reproduktion von Style

Schritte zur Sicherstellung der Reproduzierbarkeit der Style-Punktzahl.

  1. 01Die verwendete AesCode-Modellversion dokumentieren.
  2. 02Den Generierungs-Prompt und das Referenzbild aufbewahren.
  3. 03Die Renderer-Konfiguration (Browser, Version, Auflösung) dokumentieren.
  4. 04Die beispelspezifische VGR-Rubrik speichern.
  5. 05Die Ausführung mehrfach wiederholen, um die Varianz zu quantifizieren.
07

Weiter entdecken

Verwendete Quellen

03

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.

Korrektur vorschlagen