Escopo e unidade avaliada
A dimensão Style no benchmark do AesCode não mede a correção dos dados nem a funcionalidade do código, mas sim a qualidade estética percebida do artefato visual gerado. Ela se situa dentro da métrica agregada Visual, que também inclui as dimensões de Content (presença de elementos requeridos) e Layout (organização espacial e relações).
Essa separação é fundamental: uma infografia pode obter uma pontuação alta em Style por sua tipografia, uso da cor e hierarquia visual, enquanto falha na correção dos dados apresentados. O prompt de geração continua sendo a fonte de verdade para o conteúdo, mas a avaliação de Style se concentra em como esse conteúdo é apresentado no canvas, não em se os dados são exatos.
Desagregação da métrica Visual no AesCode
A pontuação Visual é a média de três dimensões independentes avaliadas por um VLM.
| Dimensão | O que avalia | Método de avaliação |
|---|---|---|
| Content | Presença e completude de elementos requeridos pelo prompt | Perguntas sim/não específicas da amostra |
| Layout | Organização, relações espaciais e colisões | Perguntas sim/não específicas da amostra |
| Style | Hierarquia, tipografia, cor e acabamento de componentes | Perguntas sim/não específicas da amostra |
Reconstrução da metodologia
A pontuação de Style é obtida por meio de um juiz VLM (Vision-Language Model) que responde a uma lista de perguntas booleanas derivadas dos requisitos do prompt. Essas perguntas fazem parte da Visual Graph Rubric (VGR), um conjunto de critérios específicos de cada amostra que é gerado a partir do design objetivo e congelado antes da avaliação.
Diferentemente das métricas determinísticas como Text ou Boundary, que são calculadas por verificação programática do código e do renderizado, Style depende da percepção visual do modelo avaliador. A VGR garante que as perguntas estejam vinculadas a elementos concretos do gráfico de design, evitando julgamentos holísticos ambíguos. A pontuação final é a taxa de acerto (pass rate) sobre essas perguntas.
Fluxo de avaliação da dimensão Style
Processo passo a passo para obter a pontuação de Style em uma execução do AesCode.
- 01Geração do código HTML/CSS a partir do prompt e da imagem de referência.
- 02Renderização do código em um navegador para obter a imagem final.
- 03Extração da rubrica VGR específica da amostra (perguntas sim/não vinculadas ao design).
- 04Avaliação do renderizado pelo VLM juiz respondendo às perguntas de Style.
- 05Cálculo da taxa de acerto (pass rate) sobre as perguntas de Style.
O que uma pontuação permite concluir
Uma pontuação alta em Style indica que o artefato atende aos critérios estéticos definidos na rubrica, como a coerência cromática, a legibilidade tipográfica e a ausência de sobreposições indesejadas. Não garante que os dados sejam corretos, que o código seja eficiente ou que a infografia seja útil para seu propósito comunicativo.
É crucial distinguir entre qualidade estética e correção factual. Um modelo pode produzir um design visualmente atraente (alto Style) mas com erros nos valores dos gráficos (baixo Rule). Portanto, a pontuação de Style deve ser interpretada sempre em conjunto com as métricas de Rule (Text, Boundary, Chart) para obter uma visão completa da qualidade do artefato.
Condições de execução e comparabilidade
Para que duas pontuações de Style sejam comparáveis, devem ser mantidas constantes as seguintes condições: o modelo gerador (AesCode-8B ou AesCode-32B), o prompt de geração, a imagem de referência (se utilizada), o renderizador (navegador e versão) e a rubrica VGR específica da amostra.
O benchmark do AesCode utiliza 300 prompts de infografias, com três gerações por prompt e sem seleção da melhor saída. Isso significa que a pontuação reportada é uma média de múltiplas execuções, o que reduz a variância aleatória, mas não elimina a sensibilidade às condições de renderização e à configuração do VLM juiz.
Variáveis críticas para a comparabilidade de Style
Fatores que devem ser controlados ao comparar pontuações de Style entre diferentes modelos ou configurações.
| Variável | Descrição | Impacto em Style |
|---|---|---|
| Modelo gerador | AesCode-8B vs AesCode-32B | Alto: maior capacidade de design |
| Imagem de referência | Presença ou ausência de referência visual | Alto: guia o estilo e a distribuição |
| Renderizador | Navegador e versão do Chromium | Médio: afeta a fidelidade do renderizado |
| Rubrica VGR | Perguntas específicas da amostra | Alto: define os critérios de avaliação |
Riscos de medição e limites
A métrica Style está sujeita aos viés do VLM juiz, que pode ter preferências estéticas próprias ou dificuldades para avaliar certos tipos de designs. Além disso, a rubrica VGR, embora específica da amostra, pode não capturar todas as dimensões da qualidade estética, como a coerência semântica ou a usabilidade.
Outro risco é a otimização da pontuação sem melhorar a utilidade comunicativa. Um modelo poderia aprender a produzir designs que satisfazem os critérios da rubrica (por exemplo, usando cores específicas ou tipografias comuns) sem melhorar a clareza ou a eficácia da infografia. Portanto, a pontuação de Style deve ser interpretada com cautela e complementada com avaliações humanas ou métricas de usabilidade.
Protocolo de leitura e reprodução
Para reproduzir ou interpretar corretamente uma pontuação de Style, é necessário registrar a versão do modelo, o prompt exato, a imagem de referência (se aplicável) e a configuração do renderizador. Além disso, deve-se conservar a rubrica VGR utilizada para a avaliação, já que as perguntas específicas da amostra são parte integral do protocolo.
Recomenda-se repetir as execuções múltiplas vezes para quantificar a variância e reportar a incerteza associada à pontuação. A comparação entre modelos deve ser feita no mesmo conjunto de prompts e com as mesmas condições de renderização e avaliação para evitar conclusões equivocadas.
Lista de verificação para reproduzir Style
Passos para garantir a reprodutibilidade da pontuação de Style.
- 01Registrar a versão do modelo AesCode utilizado.
- 02Conservar o prompt de geração e a imagem de referência.
- 03Documentar a configuração do renderizador (navegador, versão, resolução).
- 04Salvar a rubrica VGR específica da amostra.
- 05Repetir a execução múltiplas vezes para quantificar a variância.
Continue a explorar
Fontes consultadas
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção