AesCode Infographics Style : ce que mesure la dimension esthétique et comment interpréter son score
Image générée par l’équipe éditoriale d’Inferama
01

Portée et unité évaluée

La dimension Style dans le benchmark d'AesCode ne mesure ni la correction des données ni la fonctionnalité du code, mais la qualité esthétique perçue de l'artefact visuel généré. Elle s'inscrit dans la métrique agrégée Visual, qui inclut également les dimensions Content (présence des éléments requis) et Layout (organisation spatiale et relations).

Cette séparation est fondamentale : une infographie peut obtenir un score élevé en Style grâce à sa typographie, son usage de la couleur et sa hiérarchie visuelle, tout en échouant sur la correction des données présentées. Le prompt de génération reste la source de vérité pour le contenu, mais l'évaluation de Style se concentre sur la manière dont ce contenu est présenté sur le canevas, et non sur l'exactitude des données.

Cette distinction entre contenu et présentation souligne que la métrique Style capture la finition visuelle sans valider la sémantique des données. Le prompt reste la référence pour l'information, tandis que l'évaluation esthétique se concentre sur l'exécution graphique du canevas.

Décomposition de la métrique Visual dans AesCode

Le score Visual est la moyenne de trois dimensions indépendantes évaluées par un VLM.

DimensionCe qu'elle évalueMéthode d'évaluation
ContentPrésence et complétude des éléments requis par le promptQuestions oui/non spécifiques à l'échantillon
LayoutOrganisation, relations spatiales et collisionsQuestions oui/non spécifiques à l'échantillon
StyleHiérarchie, typographie, couleur et finition des composantsQuestions oui/non spécifiques à l'échantillon
02

Reconstruction de la méthodologie

Le score de Style est obtenu par un juge VLM (Vision-Language Model) qui répond à une liste de questions booléennes dérivées des exigences du prompt. Ces questions font partie de la Visual Graph Rubric (VGR), un ensemble de critères spécifiques à chaque échantillon, généré à partir du design cible et figé avant l'évaluation.

Contrairement aux métriques déterministes comme Text ou Boundary, calculées par vérification programmatique du code et du rendu, Style dépend de la perception visuelle du modèle évaluateur. La VGR garantit que les questions sont liées à des éléments concrets du graphe de design, évitant les jugements holistiques ambigus. Le score final est le taux de réussite (pass rate) sur ces questions.

L'ancrage des questions dans des éléments concrets du graphe de design permet de limiter l'ambiguïté des jugements subjectifs. Cette approche structure l'évaluation en critères vérifiables, contrairement à une appréciation globale qui pourrait varier selon l'interprétation du modèle.

Flux d'évaluation de la dimension Style

Processus étape par étape pour obtenir le score de Style dans une exécution d'AesCode.

  1. 01Génération du code HTML/CSS à partir du prompt et de l'image de référence.
  2. 02Rendu du code dans un navigateur pour obtenir l'image finale.
  3. 03Extraction de la grille VGR spécifique à l'échantillon (questions oui/non liées au design).
  4. 04Évaluation du rendu par le juge VLM en répondant aux questions de Style.
  5. 05Calcul du taux de réussite (pass rate) sur les questions de Style.
03

Ce qu'un score permet de conclure

Un score élevé en Style indique que l'artefact respecte les critères esthétiques définis dans la grille, tels que la cohérence chromatique, la lisibilité typographique et l'absence de superpositions indésirées. Il ne garantit pas que les données soient correctes, que le code soit efficace ou que l'infographie soit utile à sa finalité communicative.

Il est crucial de distinguer la qualité esthétique de la correction factuelle. Un modèle peut produire un design visuellement attrayant (Style élevé) mais contenant des erreurs dans les valeurs des graphiques (Rule faible). Le score de Style doit donc toujours être interprété en conjonction avec les métriques de Rule (Text, Boundary, Chart) pour obtenir une vue complète de la qualité de l'artefact.

L'interprétation conjointe avec les métriques de Rule est essentielle pour éviter de confondre un design soigné avec une information fiable. Un score esthétique élevé ne compense pas les erreurs factuelles, ce qui impose une analyse multidimensionnelle de la qualité de l'artefact.

04

Conditions d'exécution et de comparabilité

Pour que deux scores de Style soient comparables, les conditions suivantes doivent rester constantes : le modèle générateur (AesCode-8B ou AesCode-32B), le prompt de génération, l'image de référence (si utilisée), le rendu (navigateur et version) et la grille VGR spécifique à l'échantillon.

Le benchmark d'AesCode utilise 300 prompts d'infographies, avec trois générations par prompt et sans sélection de la meilleure sortie. Cela signifie que le score rapporté est une moyenne de plusieurs exécutions, ce qui réduit la variance aléatoire mais n'élimine pas la sensibilité aux conditions de rendu et à la configuration du juge VLM.

La moyenne calculée sur trois générations par prompt atténue la variance aléatoire liée au processus de génération. Cependant, cette méthode ne neutralise pas entièrement la sensibilité aux conditions de rendu ni aux spécificités de la configuration du modèle évaluateur.

Variables critiques pour la comparabilité de Style

Facteurs à contrôler lors de la comparaison des scores de Style entre différents modèles ou configurations.

VariableDescriptionImpact sur Style
Modèle générateurAesCode-8B vs AesCode-32BÉlevé : plus grande capacité de design
Image de référencePrésence ou absence de référence visuelleÉlevé : guide le style et la distribution
RenduNavigateur et version de ChromiumMoyen : affecte la fidélité du rendu
Grille VGRQuestions spécifiques à l'échantillonÉlevé : définit les critères d'évaluation
05

Risques de mesure et limites

La métrique Style est soumise aux biais du juge VLM, qui peut avoir des préférences esthétiques propres ou des difficultés à évaluer certains types de designs. De plus, la grille VGR, bien que spécifique à l'échantillon, peut ne pas capturer toutes les dimensions de la qualité esthétique, comme la cohérence sémantique ou l'utilisabilité.

Un autre risque est l'optimisation du score sans amélioration de l'utilité communicative. Un modèle pourrait apprendre à produire des designs qui satisfont les critères de la grille (par exemple, en utilisant des couleurs spécifiques ou des typographies courantes) sans améliorer la clarté ou l'efficacité de l'infographie. Le score de Style doit donc être interprété avec prudence et complété par des évaluations humaines ou des métriques d'utilisabilité.

Le risque d'optimisation du score sans gain d'utilité réelle souligne la nécessité de compléter l'évaluation automatique par des retours humains. Les préférences esthétiques du juge VLM peuvent diverger des besoins fonctionnels de l'utilisateur final, limitant la portée de la métrique.

06

Protocole de lecture et de reproduction

Pour reproduire ou interpréter correctement un score de Style, il est nécessaire d'enregistrer la version du modèle, le prompt exact, l'image de référence (le cas échéant) et la configuration du rendu. Il faut également conserver la grille VGR utilisée pour l'évaluation, car les questions spécifiques à l'échantillon font partie intégrante du protocole.

Il est recommandé de répéter les exécutions plusieurs fois pour quantifier la variance et rapporter l'incertitude associée au score. La comparaison entre modèles doit se faire sur le même ensemble de prompts et dans les mêmes conditions de rendu et d'évaluation pour éviter des conclusions erronées.

La conservation de la grille VGR et des paramètres de rendu est indispensable pour la reproductibilité. Sans ces éléments, la comparaison entre différentes exécutions ou modèles devient impossible, car les critères d'évaluation et les conditions de test ne sont plus identiques.

Liste de contrôle pour reproduire Style

Étapes pour assurer la reproductibilité du score de Style.

  1. 01Enregistrer la version du modèle AesCode utilisé.
  2. 02Conserver le prompt de génération et l'image de référence.
  3. 03Documenter la configuration du rendu (navigateur, version, résolution).
  4. 04Sauvegarder la grille VGR spécifique à l'échantillon.
  5. 05Répéter l'exécution plusieurs fois pour quantifier la variance.
07

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction