Versión exacta
Comprueba el identificador del modelo, la fecha y si el alias puede cambiar.
BENCHMARK DOCUMENTADO
GIFT-Eval CRPS
Resultados publicados y condiciones declaradas por sus fuentes. Las cifras solo son comparables cuando coinciden versión, configuración, métrica y fecha.
01 / RESULTADOS
Mediciones publicadas
| Modelo | Organización | Resultado | Métrica | Condiciones |
|---|---|---|---|---|
| Timestral 5M | Mistral AI | 0,479 | Menor es mejor | Métricas declaradas por Mistral para cada checkpoint, no reproducidas por Inferama. MASE y CRPS: menor es mejor; los skill scores de fev-bench: mayor es mejor. No son porcentajes de exactitud ni se comparan con pruebas de conversación. El informe técnico todavía está pendiente. |
| Timestral 28M | Mistral AI | 0,461 | Menor es mejor | Métricas declaradas por Mistral para cada checkpoint, no reproducidas por Inferama. MASE y CRPS: menor es mejor; los skill scores de fev-bench: mayor es mejor. No son porcentajes de exactitud ni se comparan con pruebas de conversación. El informe técnico todavía está pendiente. |
| Timestral 123M | Mistral AI | 0,448 | Menor es mejor | Métricas declaradas por Mistral para cada checkpoint, no reproducidas por Inferama. MASE y CRPS: menor es mejor; los skill scores de fev-bench: mayor es mejor. No son porcentajes de exactitud ni se comparan con pruebas de conversación. El informe técnico todavía está pendiente. |
| Timestral 209M | Mistral AI | 0,446 | Menor es mejor | Métricas declaradas por Mistral para cada checkpoint, no reproducidas por Inferama. MASE y CRPS: menor es mejor; los skill scores de fev-bench: mayor es mejor. No son porcentajes de exactitud ni se comparan con pruebas de conversación. El informe técnico todavía está pendiente. |
| Granite Timeseries Ensemble R1 | IBM | 0,4707 | CRPS/MWQL normalizado | IBM · linear_pool · 97 configuraciones · posiciones al 28 SEP 2026 · menor es mejor. |
| Granite Timeseries Ensemble R1 | IBM | 0,4700 | CRPS/MWQL normalizado | IBM · iqr_weighted · 97 configuraciones · posiciones al 28 SEP 2026 · menor es mejor. |
02 / INTERPRETACIÓN
Antes de comparar
Configuración equivalente
Revisa herramientas, esfuerzo, número de intentos, prompt y presupuesto de inferencia.
Transferencia a tu caso
Valida el resultado con tareas, idiomas, formatos y errores representativos de tu producto.
03 / MÉTODO
Del marcador a una decisión reproducible
Un benchmark público orienta, pero no sustituye una evaluación con tus datos, herramientas, presupuesto y tolerancia al error.
Identifica la versión exacta
Un alias móvil y un snapshot pueden producir resultados diferentes. Registra modelo, fecha y proveedor.
Reconstruye las condiciones
Prompt, razonamiento, herramientas, número de intentos y presupuesto deben ser equivalentes para comparar.
Busca incertidumbre
Una diferencia pequeña puede desaparecer entre ejecuciones. Conserva muestras, dispersión y fallos, no solo la media.
Comprueba transferencia
Valida si la mejora se mantiene en idiomas, formatos y casos reales cercanos a tu producto.
Una métrica solo es útil cuando conocemos la tarea, las condiciones y el error que importa. El resultado empieza por el diseño de la prueba.
04 / FUENTES