Versão exata
Verifique o identificador do modelo, a data e se o alias pode mudar.
BENCHMARK DOCUMENTADO
GPQA Diamond
Resultados publicados e condições declaradas pelas fontes. Os números só são comparáveis quando versão, configuração, métrica e data coincidem.
01 / RESULTADOS
Medições publicadas
| Modelo | Organização | Resultado | Métrica | Condições |
|---|---|---|---|---|
| GPT‑6 Astra | OpenAI | 96,0 % | Exatidão | Resultado do fornecedor. |
| DeepSeek V4.1 Flash | DeepSeek | 90,9 % | Exatidão | DeepSeek Harness, esforço max e configuração publicados. |
| Qwen3‑Max Thinking | Alibaba Qwen | 92,8 % | Exatidão | Escalonamento de inferência publicado pela Qwen. |
02 / INTERPRETAÇÃO
Antes de comparar
Configuração equivalente
Verifique ferramentas, esforço, número de tentativas, prompt e orçamento de inferência.
Transferência para o seu caso
Valide o resultado com tarefas, idiomas, formatos e erros representativos do seu produto.
03 / MÉTODO
Do indicador a uma decisão reproduzível
Um benchmark público orienta, mas não substitui uma avaliação com os teus dados, ferramentas, orçamento e tolerância ao erro.
Identifica a versão exata
Um alias móvel e um snapshot podem produzir resultados diferentes. Regista o modelo, a data e o fornecedor.
Reconstrói as condições
O prompt, o raciocínio, as ferramentas, o número de tentativas e o orçamento devem ser equivalentes para comparar.
Procura a incerteza
Uma diferença pequena pode desaparecer entre execuções. Conserva amostras, dispersão e falhas, não apenas a média.
Verifica a transferência
Valida se a melhoria se mantém em idiomas, formatos e casos reais próximos do teu produto.
Uma métrica só é útil quando conhecemos a tarefa, as condições e o erro que importa. O resultado começa com o desenho do teste.
ANÁLISE
Análises relacionadas
DeepSeek R1 vs. DeepSeek V3.2: como decidir entre raciocínio explícito e eficiência em um fluxo revisável
Uma comparação útil entre DeepSeek R1 e DeepSeek V3.2 não começa por um benchmark publicado, mas por uma tarefa própria, um corpus congelado e uma definição explícita de erro material. Este protocolo permite medir se a deliberação adicional do R1 reduz erros e revisões humanas ou se o V3.2 atinge o mesmo patamar com menor latência, consumo e complexidade.
22 set 2026 ↗
AIME 2024: o que mede uma percentagem de acertos em 30 problemas e porque dois resultados aparentemente iguais podem não ser comparáveis
Um resultado de AIME 2024 parece simples, mas pode resumir protocolos muito diferentes. Este guia explica o que o conjunto representa, como o resultado muda consoante o número de tentativas, a seleção de respostas, as ferramentas e o harness, e que informação pedir antes de comparar modelos.
22 set 2026 ↗04 / FONTES