AesCode Infographics Style: o que mede a dimensão estética e como interpretar a sua pontuação
Imagem gerada pela Equipa Editorial da Inferama
01

Escopo e unidade avaliada

A dimensão Style no benchmark do AesCode não mede a correção dos dados nem a funcionalidade do código, mas sim a qualidade estética percebida do artefato visual gerado. Ela se situa dentro da métrica agregada Visual, que também inclui as dimensões de Content (presença de elementos requeridos) e Layout (organização espacial e relações).

Essa separação é fundamental: uma infografia pode obter uma pontuação alta em Style por sua tipografia, uso da cor e hierarquia visual, enquanto falha na correção dos dados apresentados. O prompt de geração continua sendo a fonte de verdade para o conteúdo, mas a avaliação de Style se concentra em como esse conteúdo é apresentado no canvas, não em se os dados são exatos.

Desagregação da métrica Visual no AesCode

A pontuação Visual é a média de três dimensões independentes avaliadas por um VLM.

DimensãoO que avaliaMétodo de avaliação
ContentPresença e completude de elementos requeridos pelo promptPerguntas sim/não específicas da amostra
LayoutOrganização, relações espaciais e colisõesPerguntas sim/não específicas da amostra
StyleHierarquia, tipografia, cor e acabamento de componentesPerguntas sim/não específicas da amostra
02

Reconstrução da metodologia

A pontuação de Style é obtida por meio de um juiz VLM (Vision-Language Model) que responde a uma lista de perguntas booleanas derivadas dos requisitos do prompt. Essas perguntas fazem parte da Visual Graph Rubric (VGR), um conjunto de critérios específicos de cada amostra que é gerado a partir do design objetivo e congelado antes da avaliação.

Diferentemente das métricas determinísticas como Text ou Boundary, que são calculadas por verificação programática do código e do renderizado, Style depende da percepção visual do modelo avaliador. A VGR garante que as perguntas estejam vinculadas a elementos concretos do gráfico de design, evitando julgamentos holísticos ambíguos. A pontuação final é a taxa de acerto (pass rate) sobre essas perguntas.

Fluxo de avaliação da dimensão Style

Processo passo a passo para obter a pontuação de Style em uma execução do AesCode.

  1. 01Geração do código HTML/CSS a partir do prompt e da imagem de referência.
  2. 02Renderização do código em um navegador para obter a imagem final.
  3. 03Extração da rubrica VGR específica da amostra (perguntas sim/não vinculadas ao design).
  4. 04Avaliação do renderizado pelo VLM juiz respondendo às perguntas de Style.
  5. 05Cálculo da taxa de acerto (pass rate) sobre as perguntas de Style.
03

O que uma pontuação permite concluir

Uma pontuação alta em Style indica que o artefato atende aos critérios estéticos definidos na rubrica, como a coerência cromática, a legibilidade tipográfica e a ausência de sobreposições indesejadas. Não garante que os dados sejam corretos, que o código seja eficiente ou que a infografia seja útil para seu propósito comunicativo.

É crucial distinguir entre qualidade estética e correção factual. Um modelo pode produzir um design visualmente atraente (alto Style) mas com erros nos valores dos gráficos (baixo Rule). Portanto, a pontuação de Style deve ser interpretada sempre em conjunto com as métricas de Rule (Text, Boundary, Chart) para obter uma visão completa da qualidade do artefato.

04

Condições de execução e comparabilidade

Para que duas pontuações de Style sejam comparáveis, devem ser mantidas constantes as seguintes condições: o modelo gerador (AesCode-8B ou AesCode-32B), o prompt de geração, a imagem de referência (se utilizada), o renderizador (navegador e versão) e a rubrica VGR específica da amostra.

O benchmark do AesCode utiliza 300 prompts de infografias, com três gerações por prompt e sem seleção da melhor saída. Isso significa que a pontuação reportada é uma média de múltiplas execuções, o que reduz a variância aleatória, mas não elimina a sensibilidade às condições de renderização e à configuração do VLM juiz.

Variáveis críticas para a comparabilidade de Style

Fatores que devem ser controlados ao comparar pontuações de Style entre diferentes modelos ou configurações.

VariávelDescriçãoImpacto em Style
Modelo geradorAesCode-8B vs AesCode-32BAlto: maior capacidade de design
Imagem de referênciaPresença ou ausência de referência visualAlto: guia o estilo e a distribuição
RenderizadorNavegador e versão do ChromiumMédio: afeta a fidelidade do renderizado
Rubrica VGRPerguntas específicas da amostraAlto: define os critérios de avaliação
05

Riscos de medição e limites

A métrica Style está sujeita aos viés do VLM juiz, que pode ter preferências estéticas próprias ou dificuldades para avaliar certos tipos de designs. Além disso, a rubrica VGR, embora específica da amostra, pode não capturar todas as dimensões da qualidade estética, como a coerência semântica ou a usabilidade.

Outro risco é a otimização da pontuação sem melhorar a utilidade comunicativa. Um modelo poderia aprender a produzir designs que satisfazem os critérios da rubrica (por exemplo, usando cores específicas ou tipografias comuns) sem melhorar a clareza ou a eficácia da infografia. Portanto, a pontuação de Style deve ser interpretada com cautela e complementada com avaliações humanas ou métricas de usabilidade.

06

Protocolo de leitura e reprodução

Para reproduzir ou interpretar corretamente uma pontuação de Style, é necessário registrar a versão do modelo, o prompt exato, a imagem de referência (se aplicável) e a configuração do renderizador. Além disso, deve-se conservar a rubrica VGR utilizada para a avaliação, já que as perguntas específicas da amostra são parte integral do protocolo.

Recomenda-se repetir as execuções múltiplas vezes para quantificar a variância e reportar a incerteza associada à pontuação. A comparação entre modelos deve ser feita no mesmo conjunto de prompts e com as mesmas condições de renderização e avaliação para evitar conclusões equivocadas.

Lista de verificação para reproduzir Style

Passos para garantir a reprodutibilidade da pontuação de Style.

  1. 01Registrar a versão do modelo AesCode utilizado.
  2. 02Conservar o prompt de geração e a imagem de referência.
  3. 03Documentar a configuração do renderizador (navegador, versão, resolução).
  4. 04Salvar a rubrica VGR específica da amostra.
  5. 05Repetir a execução múltiplas vezes para quantificar a variância.
07

Continue a explorar

Fontes consultadas

03

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.

Propor uma correção