Liquid AI publie LiquidCodec, un codec vocal conçu pour le temps réel
Image générée par l’équipe éditoriale d’Inferama
01

LiquidCodec : de quoi s’agit-il et qu’est-ce qui a été publié ?

LiquidCodec est un codec neuronal pour la voix qui transforme l’audio en jetons discrets, puis reconvertit ces jetons en audio. Liquid AI a publié ses poids BF16 dans un dépôt officiel. Le modèle est conçu pour la voix mono à 24 kHz et prend en charge l’encodage et le décodage en streaming.

La fiche technique présente LiquidCodec comme le tokenizer audio de LFM3-Audio-2B et de LFM3-Omni-2B. Il peut aussi être chargé séparément avec Transformers, grâce au code personnalisé fourni dans le dépôt. Cette compatibilité ne signifie pas que le codec transforme à lui seul du texte en voix : il lui faut des jetons audio pour reconstruire la parole, et il ne constitue pas un système TTS complet.

02

Fonctionnement et dimensions du modèle

Le modèle compte environ 74 millions de paramètres et s’appuie sur une architecture causale symétrique : l’encodeur et le décodeur utilisent des blocs fondés sur LFM3. La fiche indique qu’il traite la voix à 24 kHz, produit des trames à 12,5 Hz et associe douze jetons à chaque trame, pour un débit d’environ 1,65 kb/s.

La quantification scalaire finie groupée, ou GFSQ, répartit les caractéristiques en groupes et quantifie chaque groupe indépendamment. Chaque groupe produit un jeton. Contrairement à une chaîne de codebooks présentant des dépendances séquentielles, cette conception permet de prédire en parallèle les jetons d’une trame. Ce mécanisme peut faciliter la génération parallèle, mais ne garantit pas à lui seul une reconstruction plus fidèle ni une synthèse plus naturelle.

Liquid AI décrit l’encodeur et le décodeur comme entièrement causaux, ce qui se prête au traitement par trames et au streaming. Le décodeur prédit directement des coefficients spectraux, au lieu de recourir à une succession d’étapes de suréchantillonnage avec des convolutions transposées apprises. Ce sont des choix d’architecture ; leurs effets pratiques dépendent de l’appareil, de l’implémentation et de la tâche.

Fiche technique publiée

PropriétéSpécification
Entrée et sortieVoix mono à 24 kHz
Fréquence des trames12,5 Hz
Jetons par trame12
Débit approximatif1,65 kb/s
ParamètresEnviron 74 millions
Poids du dépôtBF16
03

Ce que montrent les tests de vitesse et de qualité

Liquid AI indique que LiquidCodec encode à environ 361 fois le temps réel et décode à environ 87 fois le temps réel, en FP32 sur un seul cœur de processeur Apple M4 Max. La métrique RTF correspond au temps de traitement divisé par la durée de l’audio ; plus sa valeur est faible, plus le traitement est rapide. Ces chiffres ne représentent pas la latence d’une application complète et n’ont pas été reproduits de façon indépendante dans les éléments cités ici.

Pour la reconstruction de voix anglaise, l’entreprise publie un score ViSQOL de 4,319 pour LiquidCodec BF16 sur LibriSpeech test-clean. Le test compare l’audio reconstruit à l’original ; il ne mesure pas la qualité d’une voix générée à partir de texte. Ce résultat concerne ce jeu d’évaluation et cette configuration, et non une moyenne générale couvrant plusieurs langues ou usages.

La fiche présente aussi des comparaisons sur huit jeux de test de reconstruction et de TTS. Dans ses tests, LiquidCodec obtient les meilleurs scores ViSQOL et la plus faible distance mel sur les huit jeux de reconstruction ; en TTS, les modèles entraînés avec ses jetons obtiennent les scores UTMOSv2 les plus élevés sur les huit jeux. Il s’agit de résultats publiés par Liquid AI. La méthodologie décrite contrôle les données, l’architecture et les ressources de calcul dans l’expérience TTS, mais ces résultats ne garantissent pas les mêmes performances avec d’autres modèles, voix, langues ou conditions.

Comment interpréter trois résultats publiés

RésultatConfigurationConclusion possible
Encodage : RTF 0,0028FP32, un cœur de processeur, Apple M4 MaxVitesse de l’encodeur dans ce test ; un RTF plus faible indique un traitement plus rapide.
Décodage : RTF 0,0115FP32, un cœur de processeur, Apple M4 MaxVitesse du décodeur dans ce test ; ce n’est pas la latence totale d’une application.
ViSQOL : 4,319Reconstruction BF16 sur LibriSpeech test-clean, en anglaisScore de reconstruction pour ce jeu de données ; ne mesure ni le TTS ni toutes les langues.
04

Accès, formats et licence

Le dépôt fournit des poids BF16 et permet le chargement via Transformers avec du code personnalisé. La documentation montre comment encoder une forme d’onde en jetons puis les décoder pour reconstruire l’audio. Comme le chargement peut exécuter le code du dépôt, il est prudent d’examiner l’implémentation et de fixer une révision précise avant de l’intégrer à un environnement de travail.

Les versions quantifiées Q4_0, Q4_K_M et Q8_0 du décodeur ne sont pas publiées sous forme de checkpoints séparés dans ce dépôt. Liquid AI indique qu’elles sont intégrées aux distributions GGUF de LFM3-Audio-2B et de LFM3-Omni-2B pour l’inférence locale avec llama.cpp. Les personnes qui recherchent un décodeur quantifié autonome ne trouveront donc pas ces fichiers sur la fiche LiquidCodec.

Les poids sont soumis à la LFM Open License v1.0, et non à la licence Apache 2.0. La licence encadre l’usage commercial des entités dont le chiffre d’affaires annuel dépasse 10 millions de dollars : l’accord n’autorise pas cet usage commercial. Elle prévoit une exception particulière pour les organisations à but non lucratif qualifiées qui utilisent l’œuvre à des fins non commerciales ou de recherche. Avant de déployer ou de redistribuer le modèle, il faut vérifier les conditions applicables à l’usage envisagé et à la distribution.

La fiche ne publie aucun tarif pour une API hébergée. L’utilisation locale demande des ressources de calcul, mais son coût dépend du matériel, du volume audio, de la configuration et de l’exploitation du système ; les métriques de performance ne permettent pas d’en déduire un coût par minute.

Vérifications avant l’intégration

  1. 01Déterminez si vous avez besoin du codec BF16 du dépôt ou d’un décodeur quantifié intégré à une distribution GGUF.
  2. 02Examinez le code personnalisé avant de charger le modèle et fixez la révision que vous utiliserez.
  3. 03Vérifiez que votre cas d’usage porte sur la voix : la qualité pour la musique, le chant et les sons ambiants n’a pas été évaluée.
  4. 04Lisez la LFM Open License v1.0 et vérifiez que l’usage commercial et la redistribution respectent ses conditions.
  5. 05Mesurez la vitesse et la qualité sur le matériel, dans la langue et dans les conditions de votre propre application.
05

Limites et choix pratiques

LiquidCodec a été entraîné et évalué sur de la voix. Ses performances pour la musique, le chant et les sons ambiants n’ont pas été évaluées ; les métriques publiées ne permettent donc pas d’extrapoler une qualité équivalente pour ces types d’audio. De même, le fait que les données d’entraînement soient multilingues ne suffit pas à conclure que le modèle offre une qualité identique dans chaque langue : les scores dépendent des jeux de données et des tâches évalués.

Pour décider si le modèle convient, séparez trois questions. Premièrement, le format d’entrée, la fréquence d’échantillonnage et le flux de jetons correspondent-ils à votre chaîne audio ? Deuxièmement, les ressources de calcul mesurées sur votre matériel répondent-elles à vos exigences de streaming ? Troisièmement, la reconstruction ou le système TTS que vous mettez en place atteint-il la qualité dont vous avez besoin ? Les chiffres de la fiche peuvent orienter ces essais, mais ne les remplacent pas.

La quantification Q4_0 constitue une option de déploiement supplémentaire, pas une garantie générale de qualité. Liquid AI fait état d’une perte minime dans ses comparaisons, mais ce résultat correspond à son évaluation et à sa configuration. Il est préférable de refaire les comparaisons avec les voix, les langues et les appareils prévus, surtout si une faible différence de qualité peut affecter le produit.

En pratique, LiquidCodec propose un tokenizer vocal compact, avec traitement causal et streaming, ainsi que des poids BF16 utilisables localement. Les tests publiés indiquent une vitesse élevée et de bons résultats en reconstruction et en TTS sur les jeux évalués. La fiche du dépôt ne permet pas d’établir la date de l’annonce ni le début effectif de la disponibilité, et la documentation citée ne publie aucun tarif d’API.

06

Poursuivre l’exploration

Sources consultées

03

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.

Proposer une correction