Versão exata
Verifique o identificador do modelo, a data e se o alias pode mudar.
BENCHMARK DOCUMENTADO
GIFT-Eval CRPS
Resultados publicados e condições declaradas pelas fontes. Os números só são comparáveis quando versão, configuração, métrica e data coincidem.
01 / RESULTADOS
Medições publicadas
| Modelo | Organização | Resultado | Métrica | Condições |
|---|---|---|---|---|
| Timestral 5M | Mistral AI | 0,479 | Menor é melhor | Métricas declaradas pela Mistral para cada checkpoint, não reproduzidas pela Inferama. MASE e CRPS: menor é melhor; skill scores fev-bench: maior é melhor. Não são percentagens de exatidão nem testes de conversação. O relatório técnico continua pendente. |
| Timestral 28M | Mistral AI | 0,461 | Menor é melhor | Métricas declaradas pela Mistral para cada checkpoint, não reproduzidas pela Inferama. MASE e CRPS: menor é melhor; skill scores fev-bench: maior é melhor. Não são percentagens de exatidão nem testes de conversação. O relatório técnico continua pendente. |
| Timestral 123M | Mistral AI | 0,448 | Menor é melhor | Métricas declaradas pela Mistral para cada checkpoint, não reproduzidas pela Inferama. MASE e CRPS: menor é melhor; skill scores fev-bench: maior é melhor. Não são percentagens de exatidão nem testes de conversação. O relatório técnico continua pendente. |
| Timestral 209M | Mistral AI | 0,446 | Menor é melhor | Métricas declaradas pela Mistral para cada checkpoint, não reproduzidas pela Inferama. MASE e CRPS: menor é melhor; skill scores fev-bench: maior é melhor. Não são percentagens de exatidão nem testes de conversação. O relatório técnico continua pendente. |
| Granite Timeseries Ensemble R1 | IBM | 0,4707 | CRPS/MWQL normalizado | IBM · linear_pool · 97 configurações · posições em 28 de setembro de 2026 · menor é melhor. |
| Granite Timeseries Ensemble R1 | IBM | 0,4700 | CRPS/MWQL normalizado | IBM · iqr_weighted · 97 configurações · posições em 28 de setembro de 2026 · menor é melhor. |
02 / INTERPRETAÇÃO
Antes de comparar
Configuração equivalente
Verifique ferramentas, esforço, número de tentativas, prompt e orçamento de inferência.
Transferência para o seu caso
Valide o resultado com tarefas, idiomas, formatos e erros representativos do seu produto.
03 / MÉTODO
Do indicador a uma decisão reproduzível
Um benchmark público orienta, mas não substitui uma avaliação com os teus dados, ferramentas, orçamento e tolerância ao erro.
Identifica a versão exata
Um alias móvel e um snapshot podem produzir resultados diferentes. Regista o modelo, a data e o fornecedor.
Reconstrói as condições
O prompt, o raciocínio, as ferramentas, o número de tentativas e o orçamento devem ser equivalentes para comparar.
Procura a incerteza
Uma diferença pequena pode desaparecer entre execuções. Conserva amostras, dispersão e falhas, não apenas a média.
Verifica a transferência
Valida se a melhoria se mantém em idiomas, formatos e casos reais próximos do teu produto.
Uma métrica só é útil quando conhecemos a tarefa, as condições e o erro que importa. O resultado começa com o desenho do teste.
04 / FONTES