¿Qué tareas contiene?
Cobertura, dificultad, idioma, actualidad y posible contaminación.
Muestra
Evaluación
Benchmarks explicados sin una clasificación engañosa.
Una métrica solo es útil cuando conocemos la tarea, las condiciones y el error que importa.
01
Cinco preguntas antes de comparar
El resultado empieza por el diseño de la prueba.
¿Qué significa acertar?
Exactitud, preferencia humana, coste, tiempo o tasa de éxito.
Objetivo¿Se comparó lo mismo?
Prompt, herramientas, razonamiento, muestras y presupuesto.
Equidad
02
Evaluación para tu proyecto
Convierte necesidades reales en un conjunto pequeño y repetible.
Recoge tareas representativas
Incluye casos normales, bordes y fallos costosos.
CasosDefine una rúbrica
Separa corrección, utilidad, seguridad y formato.
CriterioMide el sistema completo
Modelo, recuperación, herramientas, latencia y coste.
Producción
03
Del marcador a una decisión reproducible
Un benchmark público orienta, pero no sustituye una evaluación con tus datos, herramientas, presupuesto y tolerancia al error.
Identifica la versión exacta
Un alias móvil y un snapshot pueden producir resultados diferentes. Registra modelo, fecha y proveedor.
Reconstruye las condiciones
Prompt, razonamiento, herramientas, número de intentos y presupuesto deben ser equivalentes para comparar.
Busca incertidumbre
Una diferencia pequeña puede desaparecer entre ejecuciones. Conserva muestras, dispersión y fallos, no solo la media.
Comprueba transferencia
Valida si la mejora se mantiene en idiomas, formatos y casos reales cercanos a tu producto.
04
Fuentes primarias y técnicas
Referencias utilizadas para ampliar y revisar esta página.