Sora 2 Pro en los benchmarks de vídeo: qué mide una preferencia y qué deja sin responder
Imagen generada por el Equipo Editorial de Inferama
01

Una puntuación de vídeo no equivale a una evaluación completa

Decir que Sora 2 Pro «rinde bien» en un benchmark puede referirse a resultados distintos: que las personas prefirieron sus clips en una comparación por pares, que obtuvo una puntuación alta en una dimensión automática o que cumplió mejor un conjunto de instrucciones. Estas conclusiones no son intercambiables. Cada una depende de qué se midió, qué muestras se usaron y bajo qué condiciones.

Una clasificación agregada puede resumir una preferencia general, pero no identifica necesariamente qué propiedad del vídeo determinó esa preferencia. Un clip puede resultar más atractivo en una votación y, al mismo tiempo, tener errores de continuidad, omitir elementos del prompt o sincronizar mal el sonido. Para atribuir una fortaleza concreta hay que consultar la tarea y la métrica correspondientes, no deducirla de la posición en una clasificación.

VBench y Video-Bench muestran cómo se pueden evaluar tareas y dimensiones explícitas. Los resultados de esos benchmarks no demuestran que Sora 2 Pro haya sido evaluado con esos métodos. Esos trabajos ilustran qué propiedades puede separar una evaluación; no son resultados del modelo.

02

Primero, identificar la unidad evaluada

«Sora 2 Pro» no basta para describir una prueba. Un informe útil debería especificar la variante, el canal de acceso y la fecha de generación. También debería aclarar si las muestras se obtuvieron mediante una API u otra interfaz, qué opciones se usaron y si hubo procesamiento posterior. Sin esos datos, una diferencia observada no puede atribuirse con seguridad al modelo por sí solo.

La documentación de OpenAI identifica sora-2-pro y describe parámetros como tamaño y duración, además de la opción de usar una imagen de referencia. Al leer un resultado, conviene preguntar si la tarea fue texto a vídeo o imagen a vídeo, qué tamaño se solicitó, cuál era la duración y si se generó audio. Que una opción esté documentada no demuestra que se usara en una evaluación concreta: el protocolo debe indicarlo.

La fecha también importa, porque los sistemas, las interfaces y las condiciones de acceso pueden cambiar. Un registro de incorporación a una clasificación no describe por sí mismo todos los detalles de generación ni garantiza que los resultados de distintos periodos sean directamente comparables.

Ficha mínima para describir una prueba

Antes de comparar resultados, comprueba si el informe identifica estas condiciones. «No informado» es una limitación del registro, no una invitación a suponer un valor.

ElementoQué debe quedar registradoQué no permite concluir su ausencia
SistemaNombre y variante exactos; canal de accesoQue la diferencia proceda solo del modelo
EntradaTexto a vídeo o imagen a vídeo; prompt o referencia utilizadaQue las tareas sean equivalentes
ConfiguraciónTamaño o resolución, duración y opciones relevantesQue los clips tengan condiciones comparables
MuestreoGeneraciones por entrada y regla de selección de la muestraQue el clip publicado represente una salida típica
EvaluaciónCriterio, número de comparaciones o evaluadores y método de agregaciónQue la puntuación mida una capacidad específica
03

Qué aporta una arena de preferencias

Una arena basada en preferencias presenta salidas para que alguien elija cuál prefiere, idealmente sin que el nombre del sistema determine la respuesta. En una comparación ciega, la elección aporta evidencia sobre la preferencia en ese formato: qué clip gustó más a las personas participantes entre las muestras que vieron. Es una señal relevante sobre percepción humana, pero su interpretación debe limitarse a ese ámbito.

La clasificación de texto a vídeo de Arena presenta una puntuación y un intervalo para Sora 2 Pro, además de una fecha de corte. Ese dato debe atribuirse a la plataforma y a esa instantánea, no presentarse como una medida universal de calidad. El intervalo de confianza expresa incertidumbre sobre la puntuación estimada; no es una garantía de superioridad en cualquier prompt ni debe confundirse con el rango de posiciones posibles.

Arena documentó una actualización de su método de clasificación en febrero de 2026: junto con la puntuación y su intervalo de confianza, presenta un rango bruto y una amplitud de rango. El rango bruto ordena las puntuaciones estimadas; la amplitud expresa las posiciones compatibles con el solapamiento de los intervalos de confianza de los modelos. Para valorar una afirmación también importa qué comparaciones entraron, cómo se asignaron y qué población de prompts quedó representada. Si esos detalles no están documentados, no deben suplirse con conjeturas.

Una preferencia ciega tampoco revela por sí sola el motivo de la elección. Las personas pueden favorecer la composición, el estilo, la legibilidad del movimiento o la adecuación aparente al prompt, y esos factores pueden combinarse. Un voto no equivale automáticamente a una evaluación del seguimiento de instrucciones, la continuidad temporal o la sincronización audiovisual.

Elegir evidencia según la pregunta

El tipo de evaluación adecuado depende de la afirmación que se quiera comprobar.

PreguntaEvidencia pertinenteLímite que debe explicitarse
¿Qué salida prefieren las personas en una comparación?Arena por pares con procedimiento de votación y estimación de incertidumbreLa preferencia no identifica automáticamente la causa ni mide todas las capacidades
¿Mantiene la apariencia de elementos a lo largo del clip?Medida de consistencia temporal definida por una tareaEl resultado depende de la definición operacional y de las muestras
¿Respeta los componentes de una instrucción?Evaluación de seguimiento de instrucciones con criterios explícitosUna preferencia global no sustituye esta prueba
¿Coordina sonido e imagen?Protocolo que evalúe de forma explícita sincronización y contenido audiovisualNo puede inferirse de un ranking visual si el audio no forma parte del ensayo
04

Por qué hacen falta benchmarks por dimensiones

Los benchmarks basados en tareas o dimensiones explícitas permiten identificar qué aspecto se está evaluando. VBench organiza la evaluación de modelos de generación de vídeo en varias dimensiones, entre ellas consistencia, parpadeo temporal y suavidad del movimiento. Video-Bench se presenta como un benchmark alineado con juicios humanos. Estos diseños ilustran alternativas a reducir la evaluación a una única preferencia global, pero no constituyen evidencia de que Sora 2 Pro haya obtenido un resultado concreto en ellos.

Separar dimensiones tiene valor diagnóstico. Si una evaluación detecta una debilidad en consistencia temporal, eso no implica necesariamente que la calidad visual global sea baja. Si una dimensión visual es fuerte, tampoco prueba que el modelo respete todos los detalles de una instrucción. Las medidas deben interpretarse según la definición y el procedimiento del benchmark; una puntuación automática no equivale sin más a una valoración humana.

Una arena y una batería por dimensiones pueden ser complementarias. La primera resume qué salida se elige bajo un protocolo; la segunda busca describir propiedades separadas. Ninguna responde por sí sola a todas las preguntas: una preferencia no ofrece automáticamente un diagnóstico causal, y una métrica por dimensión puede no reflejar qué clips prefieren las personas en una situación de uso determinada.

Proceso para revisar una afirmación de benchmark

Antes de citar una puntuación como evidencia de una capacidad, comprueba cómo se obtuvo y qué mide.

  1. 01Identifica la variante exacta, el canal de acceso y la fecha de las generaciones.
  2. 02Comprueba la modalidad, los prompts, el tamaño, la duración y si se generó o evaluó audio.
  3. 03Busca cuántas salidas se generaron por entrada y cómo se eligió la muestra mostrada.
  4. 04Define qué mide la puntuación: preferencia, dimensión de calidad, cumplimiento de instrucciones u otra propiedad.
  5. 05Revisa el método de agregación, la incertidumbre publicada y la composición de la muestra.
  6. 06Separa el dato observado de la interpretación y limita la conclusión a ese protocolo.
05

Comparabilidad: prompt, generaciones y selección de clips

Dos resultados solo son comparables si se sabe qué condiciones comparten. La modalidad de entrada es una diferencia fundamental: generar a partir de texto no es exactamente la misma tarea que animar una imagen de referencia. También importan la duración y el tamaño solicitados, la presencia o ausencia de audio y las restricciones aplicadas a cada sistema. La documentación de una interfaz puede confirmar qué parámetros admite, pero no cuáles usó un experimento.

El prompt forma parte del protocolo. Una colección de instrucciones sencillas, una lista de escenas complejas y un conjunto que exige acciones en un orden preciso pueden producir perfiles distintos. Si el benchmark no publica o describe las entradas, es más difícil entender qué cubre la muestra y repetir la prueba.

El número de generaciones por prompt y la regla de selección son especialmente importantes. Si se crean varias salidas y se publica una elegida entre ellas, el resultado refleja también el proceso de selección, no solo una generación individual. Para comparar con rigor hay que indicar si se mostró la primera salida, una salida elegida mediante una regla previa o una muestra obtenida de otro modo. No hay una regla única que pueda darse por aplicable a todas las evaluaciones de Sora 2 Pro; debe comprobarse cada caso.

La evaluación humana también puede variar: quién vota, qué instrucciones recibe y qué elementos puede ver. Si se incluye audio, hay que especificar si el voto considera el sonido o solo la imagen. Si se usan evaluadores automáticos, el informe debería describir qué evalúan y cómo se validó su uso. Sin esos datos, una cifra puede seguir siendo informativa como resultado publicado, pero su alcance es más estrecho.

06

Límites de atribución: modelo, interfaz y configuración

Una evaluación no observa un modelo en abstracto: observa salidas obtenidas mediante un sistema y unas condiciones concretas. El resultado puede depender de la variante, los parámetros, el modo de acceso, la política de generación y cualquier selección o procesamiento posterior. Si se comparan servicios con interfaces distintas, una diferencia no permite aislar automáticamente el efecto del modelo.

Conviene distinguir tres niveles: el resultado observado («estas muestras recibieron estas preferencias»), una interpretación compatible («en esta prueba y bajo estas condiciones, una salida fue elegida con mayor frecuencia») y una afirmación general («el sistema es mejor»). Esta última exige más evidencia: tareas diversas, condiciones comparables y resultados que respalden la propiedad concreta que se atribuye.

El repositorio de VBench reúne código, prompts, dimensiones, instrucciones de evaluación y enlaces a vídeos y configuraciones. Que existan materiales reproducibles para ese proyecto no significa que estén disponibles los prompts, las generaciones o la configuración de una evaluación de Arena. La reproducibilidad debe comprobarse para cada resultado por separado.

07

Reproducibilidad tras el cierre de la API

La documentación oficial de OpenAI anuncia el cierre de la API y los modelos Sora para el 24 de septiembre de 2026, y distingue ese cierre del fin de las experiencias web y de la aplicación. La fecha se refiere al cierre de la API según el proveedor; para cualquier reproducción posterior, el acceso efectivo y las condiciones aplicables deben comprobarse en ese momento.

Un resultado archivado puede seguir siendo una observación útil aunque ya no sea posible solicitar una nueva generación con la misma configuración. Volver a evaluar clips almacenados tampoco equivale a repetir el experimento de generación: en el primer caso se examina material existente; en el segundo se requieren acceso a la generación, configuración y entradas originales.

Un informe histórico debería indicar qué se conserva: vídeos, prompts, parámetros, fecha, instrucciones de evaluación, resultados desglosados y procedimiento de agregación. Si solo queda una clasificación o una puntuación publicada, puede citarse como registro de esa página, pero no reconstruirse como una prueba completa. La disponibilidad de esos artefactos para la clasificación de Sora 2 Pro no está confirmada.

Lista de comprobación del informe

Para cada pregunta, distingue entre información confirmada, parcial, ausente o no determinable a partir del informe.

ComprobaciónQué revisar
¿Se identifica variante, canal y fecha?Sí / No / Parcial
¿Se especifican modalidad, tamaño, duración y audio?Sí / No / Parcial
¿Se publican prompts, número de generaciones y selección de muestras?Sí / No / Parcial
¿La puntuación mide la propiedad que se afirma?Sí / No / No se puede determinar
¿Se informa la incertidumbre y el método de agregación?Sí / No / Parcial
¿Hay artefactos suficientes para reevaluar o generar?Reevaluación / Nueva generación / No determinado
08

Comprobaciones para interpretar resultados sobre Sora 2 Pro

Antes de convertir una clasificación en una conclusión, identifica qué afirmación respalda exactamente. El nombre del benchmark, la puntuación y la posición en una tabla no bastan si se desconocen la tarea, las muestras o el método. Un registro incompleto puede citarse con cautela si sus limitaciones quedan claras y no se le atribuye una capacidad que no mide.

No compares directamente una clasificación de preferencias con una métrica por dimensiones. Tampoco equipares periodos distintos de una misma arena sin considerar los cambios de método. Si la fuente no documenta prompts, parámetros y oportunidades de generación equivalentes, no afirmes que los modelos se probaron en condiciones idénticas.

La conclusión metodológica es acotada: una preferencia indica qué muestra se eligió bajo un protocolo; una batería de tareas explícitas puede investigar propiedades delimitadas; y repetir una evaluación depende de conservar los artefactos y contar con acceso suficiente. Ninguno de esos elementos, por sí solo, autoriza una afirmación universal sobre la calidad de Sora 2 Pro.

09

Continúa explorando

Fuentes consultadas

03

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.

Proponer una corrección