Stable Audio 3 à l’épreuve : ce que mesurent les métriques et quand comparer les résultats

Un score ne constitue pas une évaluation complète

Évaluer un générateur audio ne consiste pas simplement à présenter un chiffre. Pour interpréter un résultat, il faut savoir quel modèle a été exécuté, avec quelles entrées, sur quel jeu de test et selon quelle procédure la métrique a été calculée. Si l’un de ces éléments manque, un score peut rester informatif dans le cadre d’une expérience donnée, mais il ne suffit pas pour conclure qu’un système est meilleur de manière générale ni pour expliquer quel aspect de l’audio s’est amélioré.

Cet audit se limite à la documentation fournie sur Stable Audio 3 et distingue ce qu’elle permet d’établir de ce qu’il faudrait encore vérifier dans les sources complètes. Les éléments disponibles identifient un article consacré à une famille de modèles et un dépôt officiel destiné à l’inférence et au fine-tuning. Ils ne comprennent pas l’inventaire détaillé des métriques de l’article, leurs valeurs, le protocole de chaque test ni suffisamment de documentation pour vérifier toutes les étapes expérimentales. Il ne convient donc pas d’attribuer au modèle des résultats ou des conditions qui ne sont pas confirmés.

La portée de l’analyse compte aussi dans l’autre sens. Il ne s’agit pas ici d’évaluer l’utilisation de Stable Audio 3 dans une production particulière ni de comparer le système à une bibliothèque sous licence. La question est méthodologique : que faut-il savoir pour interpréter une évaluation technique, et à quelles conditions peut-on légitimement comparer ses résultats ? La page « Évaluation de Stable Audio 3 » doit donc se lire comme un guide pour examiner les éléments disponibles, et non comme un classement de modèles.

Quatre éléments à ne pas confondre

Le modèle est le système qui génère l’audio. Dans la documentation consultée, Stable Audio 3 est présenté comme une famille de modèles à poids ouverts, comprenant des variantes petite et moyenne, fondée sur le flow matching et destinée à la génération de musique instrumentale et d’effets sonores de durée variable. Cette description caractérise le système dans son ensemble ; elle ne permet pas, à elle seule, de savoir quelle variante a été utilisée dans chaque expérience ni comment elle a été configurée.

Le benchmark est l’ensemble des tâches, des entrées, des références et des règles qui déterminent ce qui est mis à l’épreuve. Il peut inclure des prompts et des audios de référence, mais il ne faut pas supposer que tous les benchmarks les organisent de la même manière. La métrique est le calcul qui résume une propriété donnée des résultats selon ce protocole : elle n’est ni le modèle ni le jeu de test. Enfin, un outil ou une bibliothèque d’évaluation est le logiciel qui traite les fichiers et calcule un ou plusieurs indicateurs. L’existence d’une bibliothèque ne prouve pas que l’article l’a utilisée, ni que ses valeurs correspondent à celles qui y sont publiées.

Le dépôt officiel de Stable Audio 3 est présenté comme une plateforme d’inférence et de fine-tuning. Les informations fournies ne permettent pas de confirmer que ce dépôt implémente une bibliothèque appelée Stable Audio Metrics ni qu’il contient le code d’évaluation de l’article. La description disponible de Stable Audio Metrics — un outil destiné à l’évaluation de la génération musicale et audio de longue durée, en bande complète et en stéréo — aide à comprendre le domaine qui lui est attribué. Elle ne suffit toutefois pas à vérifier quelles mesures il comprend, quels fichiers elles nécessitent ou comment elles ont été configurées.

Ce qu’une métrique peut indiquer — et ce qu’elle laisse de côté

Le nom d’une métrique ne suffit pas pour interpréter son résultat. Il faut examiner les signaux qu’elle compare, la manière dont elle les transforme, la valeur qu’elle renvoie et les échantillons auxquels elle s’applique. Une mesure fondée sur la relation entre un audio généré et une référence pose une question différente d’une évaluation qui résume la correspondance entre un prompt et l’audio. Même si deux mesures sont exprimées sous la forme d’un chiffre comparable, elles peuvent répondre à des objectifs différents et dépendre d’hypothèses distinctes.

La description fournie de Stable Audio Metrics situe l’outil dans l’évaluation de l’audio musical ou généré de longue durée, en bande complète et en stéréo. C’est une indication de portée, pas un inventaire vérifié des métriques ni une spécification technique de leurs prérequis. Elle ne permet pas d’affirmer, par exemple, que chaque calcul de la bibliothèque exige de la stéréo, que tous ses tests portent sur des contenus de longue durée ou que cet outil a servi à produire les résultats de l’article.

Tout chiffre condense de l’information. Un score agrégé peut masquer des différences entre les prompts, les durées, les types de contenu ou les configurations de génération. À lui seul, il ne démontre pas non plus que le résultat est cohérent musicalement, qu’un enregistrement convient à un usage particulier ou que le système surpasse un autre dans des conditions différentes. De telles conclusions nécessitent des tests conçus à cette fin et des éléments supplémentaires, et non une extrapolation à partir du nom ou de la valeur d’une métrique.

Les conditions qui rendent un résultat interprétable

Toute comparaison dépend d’une description précise de ce qui a été exécuté. Il faut d’abord identifier la variante et sa version. La documentation fournie distingue des variantes petite et moyenne, et une fiche consacrée à la variante medium est disponible ; cela ne prouve pas que les deux variantes figurent dans une même évaluation et ne permet pas d’attribuer à cette fiche les réglages d’une expérience particulière. Un nom de famille sans identifiant suffisamment précis peut masquer des différences importantes entre les poids ou les versions.

Les entrées comptent également. Un prompt doit être conservé tel qu’il a été utilisé, y compris les modifications susceptibles de changer le contenu demandé. Pour interpréter la sortie, il faut connaître la durée cible et les paramètres de génération spécifiés. Si plusieurs générations sont produites par prompt, il convient d’indiquer leur nombre, la façon dont les échantillons sont sélectionnés et la manière dont les résultats sont résumés. Si des graines aléatoires ou d’autres contrôles d’échantillonnage interviennent, il faut les consigner lorsqu’ils sont disponibles. Il ne faut pas les présenter comme des données connues si les sources ne les documentent pas.

Le fichier audio fait partie du protocole ; ce n’est pas un détail neutre. La fréquence d’échantillonnage, le nombre de canaux, la durée et les conversions appliquées peuvent influer sur l’entrée d’un outil d’analyse. Pour permettre une comparaison reproductible, il est utile de conserver les fichiers générés avant et après traitement, de décrire toute conversion et d’appliquer les mêmes opérations à tous les systèmes. Sans spécifications vérifiées de l’article, on ne peut pas affirmer quels réglages y ont été employés ; ce sont les informations qu’un rapport rigoureux devrait expliciter.

Reproductibilité : disposer du code ne suffit pas à répéter l’expérience

La documentation officielle présente le dépôt de Stable Audio 3 comme une plateforme d’inférence et de fine-tuning. Cette fonction peut être utile pour exécuter le modèle, mais elle ne confirme pas à elle seule qu’il est possible de reproduire une évaluation publiée. Répéter un score exige aussi de disposer de la variante exacte, des entrées et des références, des paramètres de génération, des opérations de traitement et de l’implémentation exacte des métriques.

Il faut distinguer la reproduction du système de celle du résultat. Avec les poids et le code d’inférence, il peut être possible de générer de nouveaux audios ; cela ne permet pas nécessairement de reconstruire les fichiers obtenus lors de l’expérience d’origine. Pour s’en approcher, il faut utiliser les mêmes entrées et les mêmes conditions et, lorsque l’échantillonnage entraîne de la variabilité, expliquer comment celle-ci a été contrôlée et résumée. Pour recalculer une métrique, il faut également disposer de son code et de ses dépendances, ou d’une description suffisamment détaillée de son implémentation.

Les informations fournies ne permettent pas de déterminer si l’article publie tous ces éléments, si ses données de référence sont téléchargeables ni quelles parties nécessitent un accès supplémentaire. Il convient de vérifier l’article et les documents associés point par point. Lorsqu’un élément n’y figure pas, il faut le signaler comme non vérifié ou indisponible dans la documentation consultée, sans transformer cette limite en affirmation sur le contenu de la source complète.

Contamination et séparation des données

Pour interpréter un test, il importe également de connaître l’origine des prompts et des références, la manière dont ils ont été sélectionnés et l’existence éventuelle de contrôles visant à éviter que les exemples d’évaluation figurent aussi dans les données d’entraînement. Une telle correspondance pourrait influer sur l’interprétation de certains résultats, mais évoquer cette possibilité ne démontre pas qu’elle se soit produite dans le cas de Stable Audio 3. Toute conclusion doit s’appuyer sur des éléments documentaires précis concernant les données et la procédure.

La fiche fournie pour Stable Audio 3 medium contient un extrait relatif au corpus d’enregistrements utilisé, mais les éléments disponibles n’en détaillent pas ici le contenu et ne démontrent pas que les données d’entraînement soient séparées des données d’évaluation. Par ailleurs, Stability AI indique que ses modèles musicaux Stable Audio 3 sont entraînés avec des données entièrement sous licence. Cette déclaration porte sur l’affirmation du fournisseur concernant les licences ; elle ne prouve pas à elle seule l’indépendance des jeux d’entraînement et de test et ne règle pas la question d’un éventuel chevauchement.

Un audit devrait rechercher des informations sur l’origine des échantillons, les critères d’inclusion, les partitions ainsi que les contrôles éventuels de doublons ou de correspondances. Si ces informations ne sont pas disponibles, la formulation rigoureuse est qu’il n’est pas possible de vérifier la séparation à partir des sources consultées. Il ne convient pas de transformer l’absence d’éléments publics en preuve de contamination, mais il ne faut pas non plus affirmer qu’il n’y a eu aucun chevauchement sans contrôles documentés.

Quand une comparaison est-elle légitime ?

Comparer des résultats entre variantes, implémentations ou modèles suppose de définir ce qui reste constant. Dans l’idéal, on utilise les mêmes prompts, le même jeu de test, la même métrique et la même version de l’outil, le même traitement audio et des règles équivalentes pour générer et agréger les sorties. Si une condition change, il faut le signaler et déterminer si cette différence peut expliquer une partie du score.

Même avec un protocole commun, une comparaison doit être contextualisée : le jeu de test délimite les cas qu’il représente et la métrique délimite la propriété qu’elle résume. Un résultat favorable sur un jeu donné n’autorise pas, à lui seul, une affirmation générale concernant toute la musique, tous les audios de longue durée ou tous les usages. Si une variante emploie des paramètres différents ou si une implémentation traite l’audio autrement, présenter un tableau unique sans expliquer ces différences peut suggérer une équivalence que l’expérience n’a pas établie.

Les informations disponibles ici ne permettent pas de confirmer quels résultats de l’article sont directement comparables ni si les variantes ont été exécutées avec des configurations identiques. Il ne faut donc pas en déduire un classement entre variantes ou entre modèles. La page officielle de Stable Audio 3 peut aider à identifier le produit et ses variantes, mais elle ne remplace pas la description du protocole expérimental nécessaire pour comparer des scores.

Conclusion : ce que les éléments disponibles démontrent et ce qu’il reste à vérifier

Les sources fournies permettent d’identifier Stable Audio 3 comme une famille de modèles comprenant des variantes petite et moyenne, fondée sur le flow matching et présentée comme destinée à la génération de musique instrumentale et d’effets sonores de durée variable. Elles identifient aussi un dépôt officiel consacré à l’inférence et au fine-tuning, une fiche pour la variante medium et de la documentation officielle sur la famille. Ces éléments permettent de situer le système et d’orienter l’examen de ses ressources, mais ne suffisent pas à reconstituer une évaluation complète.

En particulier, les informations disponibles ne permettent pas d’énumérer rigoureusement les métriques de l’article, de leur associer des résultats, de vérifier le protocole de génération ni de déterminer le degré de reproductibilité des ressources publiées. Elles ne fournissent pas non plus suffisamment d’éléments pour conclure à l’existence ou à l’absence d’un chevauchement entre les données d’entraînement et de test. Ce sont des limites des informations reçues, et non des conclusions sur le contenu intégral des documents.

Pour lire correctement un benchmark de Stable Audio 3, il faut maintenir séparées quatre questions : quelle variante a été évaluée, quel jeu de test a été utilisé, quelle propriété chaque métrique calcule et comment les audios ont été générés et traités. Avant de comparer un chiffre, il faut vérifier que les conditions sont équivalentes et que les sources permettent de refaire le calcul ou, au minimum, de l’auditer. Tant que ces détails ne sont pas documentés, les conclusions doivent se limiter à ce que le protocole vérifiable permet d’étayer.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.