Sora 2 Pro nos benchmarks de vídeo: o que uma preferência às cegas mede — e o que deixa sem resposta

Uma pontuação de vídeo não equivale a uma avaliação completa

Dizer que o Sora 2 Pro «tem um bom desempenho» num benchmark pode referir-se a resultados diferentes. Pode significar que as pessoas preferiram os seus clipes numa comparação por pares, que obteve uma pontuação elevada numa dimensão automática ou que cumpriu melhor um conjunto de instruções. Estas conclusões não são intercambiáveis: cada uma depende do que foi medido, das amostras utilizadas e das condições do teste.

Esta distinção importa porque um ranking agregado pode resumir uma preferência geral, mas não diagnostica necessariamente qual propriedade do vídeo originou essa preferência. Um clipe pode ser mais apelativo numa votação e, ao mesmo tempo, apresentar erros de continuidade, omitir elementos do prompt ou sincronizar mal o som. Para atribuir uma vantagem específica, é preciso consultar a tarefa e a métrica correspondentes, em vez de deduzi-la da posição numa classificação.

As fontes disponíveis permitem descrever a metodologia de várias avaliações, alguns dados publicados por uma arena e as opções da API do Sora. Não demonstram que o Sora 2 Pro tenha sido avaliado nos benchmarks VBench ou Video-Bench. Esses trabalhos servem aqui para explicar que dimensões um benchmark pode separar; não devem ser apresentados como resultados do modelo.

Primeiro, identifique a unidade avaliada

«Sora 2 Pro» não basta como descrição experimental. Um relatório útil deve especificar a variante identificada, o canal de acesso e a data de geração. Deve também esclarecer se as amostras foram obtidas pela API ou por outra interface, quais opções estavam disponíveis e se houve processamento posterior. Sem esses dados, não é possível atribuir com segurança uma diferença observada apenas ao modelo.

A documentação da OpenAI identifica o sora-2-pro e descreve parâmetros como tamanho e duração, além da possibilidade de usar uma imagem de referência. Isso permite formular perguntas concretas ao analisar um resultado: foi usado texto para vídeo ou imagem para vídeo? Que tamanho foi solicitado? Qual foi a duração? Foi gerado áudio? A existência de uma opção documentada não prova que ela tenha sido ativada num benchmark específico; é necessário que o protocolo o indique.

Também convém registar a data, porque os sistemas, as interfaces e as condições de acesso podem mudar. O registo de alterações da Arena documenta a inclusão do Sora 2 e do Sora 2 Pro na sua classificação de texto para vídeo, mas o registo dessa inclusão não descreve, por si só, todos os pormenores de geração nem garante que períodos diferentes da classificação sejam diretamente comparáveis.

O que uma arena de preferências oferece

Uma arena baseada em preferências costuma apresentar saídas para que alguém escolha a que prefere, sem que o nome do sistema determine deliberadamente a resposta. Numa comparação às cegas, a escolha fornece evidências sobre a preferência nesse formato: qual clipe agradou mais aos participantes diante das amostras que viram. É um sinal relevante da perceção humana, mas a interpretação deve permanecer dentro desse âmbito.

A classificação de texto para vídeo da Arena apresenta o Sora 2 Pro com uma pontuação e um intervalo, além de uma data de corte indicada na página. A forma responsável de comunicar esse dado é atribuí-lo àquela classificação e àquela captura, não descrevê-lo como uma medida universal de qualidade. O intervalo expressa a incerteza da estimativa segundo o método da plataforma; não deve ser omitido nem transformado numa garantia de que um sistema será superior para qualquer prompt.

O método de classificação da Arena explica como a pontuação é calculada e como a incerteza e as posições são tratadas. Ainda assim, para avaliar a solidez de uma afirmação, é preciso verificar quais comparações foram incluídas, como foram atribuídas, quantas observações sustentam o resultado e que população de prompts foi representada. Se a página não disponibilizar todos esses pormenores na vista consultada, não se deve preenchê-los com conjecturas.

Uma preferência às cegas também não identifica, por si só, o motivo da escolha. As pessoas podem favorecer a composição, o estilo, a legibilidade do movimento ou a adequação aparente ao prompt, e esses fatores podem combinar-se. O voto não equivale automaticamente a uma rubrica de seguimento de instruções, continuidade temporal ou sincronização audiovisual.

Por que são necessários benchmarks por dimensão

Benchmarks concebidos em torno de tarefas ou dimensões explícitas permitem perguntar que aspeto está a ser avaliado. O VBench, por exemplo, organiza a avaliação de modelos de geração de vídeo em diferentes dimensões, entre elas consistência, cintilação temporal e suavidade do movimento. O Video-Bench apresenta-se como um benchmark alinhado com juízos humanos. Estes desenhos ilustram alternativas à redução da avaliação a uma única preferência global, mas não constituem evidência de que o Sora 2 Pro tenha obtido um resultado específico neles.

A vantagem de separar dimensões é diagnóstica. Se uma avaliação detetar uma fragilidade na consistência temporal, isso não implica necessariamente que a qualidade visual global seja baixa; se uma dimensão visual for forte, também não prova que o modelo respeite todos os detalhes de uma instrução. As medidas devem ser interpretadas de acordo com a definição e o procedimento do benchmark, e uma pontuação automática não deve ser equiparada, sem mais, a uma avaliação humana.

A comparação com uma arena pode ser complementar. Um teste de preferência resume qual saída é escolhida segundo um protocolo, enquanto uma bateria por dimensões procura descrever propriedades separadas. Nenhum dos dois basta para responder a todas as perguntas: o primeiro não fornece automaticamente um diagnóstico causal, e o segundo pode não refletir quais clipes as pessoas preferem numa situação de utilização concreta.

Comparabilidade: prompt, gerações e seleção de clipes

Dois resultados só são comparáveis quando se sabe que condições têm em comum. A modalidade de entrada é uma primeira diferença: gerar a partir de texto não é exatamente a mesma tarefa que animar uma imagem de referência. Também é preciso considerar a duração e o tamanho solicitados, a presença ou ausência de áudio e as restrições aplicadas a cada sistema. A documentação de uma interface pode confirmar quais parâmetros são aceites, mas não quais foram usados no experimento.

O prompt faz parte do protocolo; não é um pormenor editorial. Um conjunto de instruções simples, uma lista de cenas complexas e um conjunto que exige ações numa ordem precisa podem produzir perfis diferentes. Se o benchmark não publicar nem descrever as entradas, fica mais difícil perceber o que a amostra abrange e repeti-la.

O número de gerações por prompt e a regra de seleção são especialmente importantes. Se forem criadas várias saídas e uma delas for escolhida para publicação, o resultado também mede o processo de seleção, e não apenas uma geração individual. Para que as comparações sejam justas, é preciso indicar se foi apresentada a primeira saída, uma saída selecionada segundo uma regra definida previamente ou uma amostra obtida de outra forma. As fontes fornecidas não estabelecem uma regra única aplicável a todas as avaliações do Sora 2 Pro; é necessário verificar cada caso.

A própria avaliação humana também pode variar: quem vota, que instruções recebe e que elementos consegue ver. Se houver áudio, é preciso especificar se o voto considera o som ou apenas a imagem. Se forem utilizados avaliadores automáticos, o relatório deve descrever o que avaliam e como essa utilização foi validada. Sem esses dados, um número ainda pode ser informativo como resultado publicado, mas o seu alcance é mais limitado.

Limites de atribuição: modelo, interface e configuração

Uma avaliação não observa um modelo em abstrato: observa saídas obtidas por meio de um sistema e de condições concretas. O resultado pode depender da variante, dos parâmetros, do modo de acesso, da política de geração e de qualquer seleção ou processamento posterior. Se forem comparados serviços com interfaces diferentes, uma diferença não permite isolar automaticamente o efeito do modelo.

Por isso, ao redigir, convém distinguir três níveis: o resultado observado («estas amostras receberam estas preferências»), a interpretação compatível («neste teste, nestas condições, uma saída foi escolhida com maior frequência») e a afirmação geral («o sistema é melhor»). O terceiro nível exige mais evidências do que os dois primeiros: tarefas diversas, condições comparáveis e resultados que sustentem a propriedade específica atribuída.

Os repositórios do VBench e os trabalhos do Video-Bench fornecem referências metodológicas para compreender avaliações multidimensionais e os respetivos artefactos. O repositório do VBench reúne código, prompts, dimensões, instruções de avaliação e ligações para vídeos e configurações. A existência de materiais reproduzíveis para esse projeto não significa que os prompts, as gerações ou as configurações de uma avaliação da Arena estejam disponíveis. A reprodutibilidade tem de ser verificada separadamente para cada resultado.

Reprodutibilidade após o encerramento da API

A OpenAI informa que a API e os modelos Sora serão desativados em 24 de setembro de 2026. A documentação de ajuda distingue esse encerramento do fim das experiências na web e na aplicação. Portanto, o anúncio não deve ser descrito como se todas as formas de acesso fossem necessariamente encerradas ao mesmo tempo. Segundo a documentação do fornecedor, a data refere-se ao encerramento da API; para qualquer reprodução futura, será necessário verificar as condições em vigor e o acesso efetivamente disponível.

A consequência metodológica é clara: um resultado arquivado pode continuar a ser uma observação útil, mesmo que já não seja possível solicitar uma nova geração com a mesma configuração. Recalcular uma pontuação a partir de clipes armazenados também não equivale a repetir o experimento de geração. No primeiro caso, é possível voltar a avaliar o material existente; no segundo, é necessário ter acesso à geração, à configuração e às entradas originais.

Um relatório histórico deve indicar o que foi preservado: vídeos, prompts, parâmetros, data, instruções de avaliação, resultados desagregados e procedimento de agregação. Se apenas restar uma classificação ou uma pontuação publicada, ela pode ser citada como registo daquela página, mas não reconstruída como um teste completo. As fontes disponíveis não confirmam que todos esses artefactos existam para a classificação do Sora 2 Pro; essa disponibilidade deve ser tratada como uma incerteza, não como um facto.

Lista de verificação para interpretar resultados do Sora 2 Pro

Antes de transformar uma classificação numa conclusão editorial ou técnica, verifique exatamente que afirmação ela sustenta. O nome do benchmark, a pontuação e a posição numa tabela não bastam se a tarefa, as amostras e o método forem desconhecidos. Uma ficha incompleta ainda pode ser citada com cautela, desde que a omissão fique clara e que não se atribua ao resultado uma capacidade que ele não mede.

Em particular, evite comparar diretamente uma classificação de preferências com uma métrica de benchmark por dimensões. Não compare períodos da mesma arena sem verificar as respetivas alterações metodológicas, nem apresente resultados de modelos diferentes como se tivessem recebido prompts, parâmetros e oportunidades de geração idênticos quando a fonte não documenta essas condições.

A conclusão mais sólida permitida pelas fontes é metodológica: uma preferência pode indicar qual amostra agradou mais dentro de um protocolo; uma bateria de tarefas explícitas pode investigar propriedades delimitadas; e a reprodutibilidade depende de artefactos e de acesso que têm de ser verificados. Nenhum destes elementos, por si só, autoriza uma afirmação universal sobre a qualidade do Sora 2 Pro.

Continue a explorar

Correções e transparência

Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.