Stable Audio 3 en evaluación: qué miden las métricas y cuándo se pueden comparar los resultados

Una puntuación no es una evaluación completa

Evaluar un generador de audio implica más que presentar una cifra. Para interpretar un resultado hay que saber qué modelo se ejecutó, con qué entradas, sobre qué conjunto de pruebas y mediante qué procedimiento se calculó la métrica. Si falta alguno de esos elementos, una puntuación puede seguir siendo informativa dentro de un experimento concreto, pero no basta para concluir que un sistema es mejor en términos generales ni para explicar qué aspecto del audio mejoró.

Esta auditoría se limita a la documentación aportada sobre Stable Audio 3 y a distinguir lo que dicha documentación permite establecer de lo que todavía habría que comprobar en las fuentes completas. El material disponible identifica un paper sobre una familia de modelos y un repositorio oficial orientado a inferencia y ajuste fino. No incluye el inventario detallado de métricas del paper, sus valores, el protocolo de cada prueba ni la documentación suficiente para verificar todos los pasos experimentales. Por eso no corresponde atribuir al modelo resultados o condiciones que no aparecen confirmados.

El alcance importa también en sentido inverso. No se evalúa aquí el uso de Stable Audio 3 en una producción concreta ni se compara el sistema con una biblioteca licenciada. La pregunta es metodológica: qué hace falta conocer para interpretar una evaluación técnica y cuándo sería legítimo comparar sus resultados. La ficha de «Evaluación de Stable Audio 3» debe leerse, por tanto, como una guía para examinar la evidencia, no como una clasificación de modelos.

Cuatro piezas que no deben confundirse

El modelo es el sistema que genera el audio. En el caso documentado, Stable Audio 3 se describe como una familia de modelos de pesos abiertos, con variantes pequeñas y medianas, basada en flow matching y orientada a generar música instrumental y efectos de sonido de duración variable. Esa descripción caracteriza el sistema de forma general; no identifica por sí sola qué variante se usó en cada experimento ni cómo se configuró.

El benchmark es el conjunto de tareas, entradas, referencias y reglas que determina qué se pone a prueba. Puede incluir prompts y audios de referencia, pero no debe darse por supuesto que todos los benchmarks los organizan igual. La métrica es el cálculo que resume una propiedad concreta de los resultados en ese protocolo: no es el modelo ni el conjunto de pruebas. Por último, una herramienta o biblioteca de evaluación es el software utilizado para procesar archivos y obtener uno o más cálculos. Que una biblioteca exista no demuestra que el paper la haya usado, ni que sus valores coincidan con los publicados.

El repositorio oficial de Stable Audio 3 se describe como una plataforma para inferencia y ajuste fino. Con la información aportada no se puede confirmar que ese repositorio implemente una biblioteca denominada Stable Audio Metrics ni que contenga el código de evaluación del paper. La descripción facilitada para Stable Audio Metrics —orientación a generación musical y de audio de larga duración, banda completa y estéreo— sirve para entender el ámbito que se le atribuye, pero no basta para verificar qué medidas contiene, qué archivos requiere o cómo se configuró.

Qué puede decir una métrica y qué queda fuera

El nombre de una métrica no basta para interpretar su resultado. Hay que consultar qué señales compara, cómo las transforma, qué devuelve y sobre qué muestras se aplica. Una medida basada en la relación entre un audio generado y una referencia plantea una pregunta distinta de una evaluación que resume la correspondencia entre un prompt y el audio. Incluso si dos medidas se expresan como una cifra comparable, pueden responder a objetivos diferentes y depender de supuestos distintos.

La descripción aportada de Stable Audio Metrics la sitúa en la evaluación de audio musical o generado de larga duración, banda completa y estéreo. Es una indicación de alcance, no un inventario verificado de métricas ni una especificación técnica de requisitos. No permite afirmar, por ejemplo, que cada cálculo de la biblioteca necesite estéreo, que todas sus pruebas midan duración larga o que haya sido la herramienta usada para obtener los resultados del paper.

Toda cifra comprime información. Una puntuación agregada puede ocultar diferencias entre prompts, duraciones, tipos de contenido o configuraciones de generación. Tampoco establece por sí misma que el resultado sea musicalmente coherente, que una grabación sea adecuada para un uso específico o que el sistema supere a otro bajo condiciones distintas. Esas conclusiones requieren pruebas diseñadas para ellas y evidencia adicional, no una extrapolación del nombre o del valor de una métrica.

Condiciones que hacen interpretable un resultado

Una comparación depende de que se describa con precisión qué se ejecutó. En primer lugar, hace falta identificar la variante y su versión. La documentación aportada distingue variantes pequeñas y medianas, y existe una ficha de la variante medium; esto no demuestra que ambas se incluyan en una misma evaluación ni permite atribuir a la ficha los ajustes de un experimento concreto. Un nombre de familia sin identificador suficiente puede ocultar diferencias relevantes entre pesos o versiones.

También importan las entradas. Un prompt debe conservarse tal como se utilizó, incluidos los cambios que puedan alterar el contenido solicitado. Para interpretar la salida hacen falta la duración objetivo y los parámetros de generación que se hayan especificado. Si se realizan varias generaciones por prompt, se debe informar de cuántas, cómo se seleccionan las muestras y cómo se resumen los resultados. Si intervienen semillas u otros controles de muestreo, deben registrarse cuando estén disponibles. No se deben presentar como datos conocidos si las fuentes no los documentan.

El archivo de audio es parte del protocolo, no un detalle neutro. Frecuencia de muestreo, número de canales, duración y conversiones aplicadas pueden afectar la entrada de una herramienta de análisis. Para una comparación reproducible conviene registrar los archivos generados antes y después del procesamiento, describir cualquier conversión y mantener iguales esas operaciones entre sistemas. Sin especificaciones verificadas del paper no puede afirmarse cuáles fueron sus ajustes; estos son los campos que un informe riguroso debería hacer explícitos.

Reproducibilidad: código disponible no equivale a experimento repetible

La documentación oficial describe el repositorio de Stable Audio 3 como una plataforma de inferencia y ajuste fino. Esa función puede ser pertinente para ejecutar el modelo, pero no confirma por sí sola que se pueda repetir una evaluación publicada. Reproducir una cifra exige, además, disponer de la variante concreta, las entradas y referencias, los parámetros de generación, las operaciones de procesamiento y la implementación exacta de las métricas.

Conviene separar reproducir el sistema de reproducir el resultado. Con pesos y código de inferencia puede ser posible generar nuevos audios; eso no reconstruye necesariamente los archivos obtenidos en el experimento original. Para aproximarse a la repetición hacen falta las mismas entradas y condiciones, y cuando el muestreo introduce variación, una explicación de cómo se controló y resumió esa variación. Para recalcular una métrica se necesitan también su código y sus dependencias o una descripción suficiente de la implementación.

La información aportada no permite determinar si el paper publica todos esos elementos, si sus datos de referencia pueden descargarse ni qué partes requieren acceso adicional. La comprobación adecuada consiste en revisar el paper y los materiales asociados campo por campo. Si algún elemento no aparece, se debe indicar como no verificado o no disponible en la documentación consultada, sin convertir esa limitación en una afirmación sobre lo que contiene la fuente completa.

Contaminación y separación de los datos

Para interpretar una prueba también importa conocer de dónde proceden sus prompts y referencias, cómo se seleccionaron y si hay controles para evitar que los ejemplos de evaluación coincidan con datos usados en entrenamiento. Una coincidencia podría afectar la interpretación de determinados resultados, pero plantear esa posibilidad no demuestra que haya ocurrido en Stable Audio 3. La conclusión debe apoyarse en evidencia documental concreta sobre los datos y el procedimiento.

La ficha aportada para Stable Audio 3 medium contiene un extracto relacionado con el conjunto de grabaciones utilizado, pero el material disponible no detalla aquí su contenido ni demuestra que los datos de entrenamiento estén separados de los de evaluación. Por otro lado, Stability AI declara que sus modelos musicales de Stable Audio 3 se entrenan con datos plenamente licenciados. Esa declaración se refiere a una afirmación del proveedor sobre licencias; por sí sola no prueba la independencia de los conjuntos de entrenamiento y prueba ni resuelve la cuestión del posible solapamiento.

Una auditoría debería buscar información sobre el origen de las muestras, los criterios de inclusión, las particiones y cualquier comprobación de duplicados o coincidencias. Si esa información no está disponible, la formulación rigurosa es que no puede verificarse la separación con las fuentes consultadas. No es correcto transformar falta de evidencia pública en prueba de contaminación, pero tampoco afirmar que no hubo solapamiento sin controles documentados.

Cuándo es legítimo comparar

Comparar resultados entre variantes, implementaciones o modelos exige definir qué se mantiene constante. Idealmente se usan los mismos prompts, el mismo conjunto de prueba, la misma métrica y versión de la herramienta, el mismo tratamiento de audio y reglas equivalentes para generar y agregar las salidas. Si alguna condición cambia, debe informarse y evaluarse si esa diferencia puede explicar parte de la puntuación.

Incluso bajo un protocolo común, la comparación necesita contexto: el conjunto de pruebas delimita qué casos representa, y la métrica delimita qué propiedad resume. Un resultado favorable en un conjunto no autoriza por sí solo una afirmación amplia sobre toda música, todo audio de larga duración o todos los usos. Si una variante tiene distintos parámetros o si una implementación procesa el audio de forma diferente, presentar una tabla única sin explicar esas diferencias puede sugerir una equivalencia que el experimento no estableció.

Con los datos disponibles aquí no puede confirmarse qué resultados del paper son directamente comparables ni si las variantes se ejecutaron con configuraciones idénticas. Por tanto, no se debe inferir una clasificación entre variantes ni entre modelos. La página oficial de Stable Audio 3 puede servir para identificar el producto y sus variantes, pero no reemplaza la descripción del protocolo experimental necesaria para comparar puntuaciones.

Conclusión: qué demuestra la evidencia y qué queda por comprobar

Las fuentes aportadas permiten identificar Stable Audio 3 como una familia de modelos con variantes pequeñas y medianas, basada en flow matching y descrita para generación de música instrumental y efectos de sonido de duración variable. También identifican un repositorio oficial destinado a inferencia y ajuste fino, una ficha de la variante medium y documentación oficial sobre la familia. Estos elementos sirven para ubicar el sistema y orientar una revisión de sus materiales, pero no bastan para reconstruir una evaluación completa.

En particular, el material disponible no permite enumerar con rigor las métricas del paper, asignarles resultados, verificar el protocolo de generación ni establecer qué grado de reproducibilidad ofrecen los recursos publicados. Tampoco aporta evidencia suficiente para concluir si existe o no solapamiento entre datos de entrenamiento y prueba. Son límites de la información recibida, no conclusiones sobre el contenido íntegro de los documentos.

La lectura responsable de cualquier benchmark de Stable Audio 3 debe mantener separadas cuatro preguntas: qué variante se evaluó, qué conjunto de pruebas se usó, qué propiedad calcula cada métrica y cómo se generaron y procesaron los audios. Antes de comparar una cifra, hay que verificar que las condiciones sean equivalentes y que las fuentes permitan repetir o, al menos, auditar el cálculo. Hasta que esos detalles estén documentados, las conclusiones deben limitarse a lo que el protocolo comprobable respalda.

Continúa explorando

Correcciones y transparencia

Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.