Liquid AI pubblica LiquidCodec, un codec vocale per lo streaming in tempo reale
Immagine generata dalla Redazione di Inferama
01

Che cos’è LiquidCodec e cosa è stato pubblicato

LiquidCodec è un codec neurale per la voce che trasforma l’audio in token discreti e poi li riconverte in audio. Liquid AI ha pubblicato i pesi BF16 in un repository ufficiale. Il modello è progettato per la voce mono a 24 kHz e supporta la codifica e la decodifica in streaming.

La scheda tecnica descrive LiquidCodec come il tokenizzatore audio di LFM3-Audio-2B e LFM3-Omni-2B. È anche possibile caricarlo separatamente con Transformers, utilizzando il codice personalizzato incluso nel repository. Questa compatibilità non significa che il codec trasformi da solo il testo in voce: per ricostruire la voce ha bisogno di token audio e non è un sistema TTS completo.

02

Come funziona e quali sono le sue dimensioni

Il modello ha circa 74 milioni di parametri e un’architettura causale simmetrica: encoder e decoder utilizzano blocchi basati su LFM3. La scheda indica che elabora la voce a 24 kHz, genera frame a 12,5 Hz e assegna dodici token a ciascun frame, con un bitrate approssimativo di 1,65 kbps.

La quantizzazione scalare finita raggruppata, o GFSQ, suddivide le caratteristiche in gruppi e quantizza ciascun gruppo in modo indipendente. Ogni gruppo produce un token. A differenza di una catena di codebook con dipendenze sequenziali, questo design consente di prevedere in parallelo i token di un frame. Il meccanismo può facilitare la generazione parallela, ma da solo non garantisce una ricostruzione più fedele né una sintesi più naturale.

Liquid AI descrive encoder e decoder come completamente causali, una proprietà compatibile con l’elaborazione per frame e lo streaming. Il decoder prevede direttamente coefficienti spettrali, anziché basarsi su una sequenza di fasi di upsampling con convoluzioni trasposte apprese. Sono scelte architetturali: il loro effetto pratico dipende dal dispositivo, dall’implementazione e dal compito.

Specifiche tecniche pubblicate

ProprietàSpecifica
Ingresso e uscitaVoce mono a 24 kHz
Frequenza dei frame12,5 Hz
Token per frame12
Bitrate approssimativo1,65 kbps
ParametriCirca 74 milioni
Pesi nel repositoryBF16
03

Cosa indicano i test su prestazioni e qualità

Liquid AI dichiara che LiquidCodec codifica a circa 361 volte la velocità del tempo reale e decodifica a circa 87 volte, in una misurazione FP32 su un solo thread CPU di un Apple M4 Max. La metrica RTF divide il tempo di elaborazione per la durata dell’audio: un valore più basso indica una maggiore velocità. Questi numeri non equivalgono alla latenza di un’applicazione completa e non sono stati riprodotti in modo indipendente nel materiale citato.

Per la ricostruzione della voce inglese, l’azienda pubblica un punteggio ViSQOL di 4,319 per LiquidCodec BF16 su LibriSpeech test-clean. Il test confronta l’audio ricostruito con quello originale; non misura la qualità della generazione vocale a partire dal testo. Il risultato riguarda quel set di valutazione e quella configurazione, non una media generale tra lingue o usi.

La scheda riporta inoltre confronti su otto set di test per la ricostruzione e il TTS. Nei test di Liquid AI, LiquidCodec ha ottenuto i migliori punteggi ViSQOL e la minore distanza mel in tutti gli otto set di ricostruzione; nel TTS, i modelli addestrati con i suoi token hanno ottenuto i punteggi UTMOSv2 più alti in tutti gli otto set. Sono risultati pubblicati da Liquid AI. La metodologia descritta controlla dati, architettura e risorse di calcolo nell’esperimento TTS, ma non rende i risultati una garanzia per altri modelli, voci, lingue o condizioni.

Come interpretare tre risultati pubblicati

RisultatoConfigurazioneCosa consente di concludere
Codifica: RTF 0,0028FP32, un thread CPU, Apple M4 MaxVelocità dell’encoder in quel test; un RTF più basso indica maggiore velocità.
Decodifica: RTF 0,0115FP32, un thread CPU, Apple M4 MaxVelocità del decoder in quel test; non è la latenza complessiva di un’applicazione.
ViSQOL: 4,319Ricostruzione BF16 su LibriSpeech test-clean, inglesePunteggio di ricostruzione per quel set; non misura il TTS né tutte le lingue.
04

Accesso, formati e licenza

Il repository offre pesi BF16 e il caricamento tramite Transformers con codice personalizzato. La documentazione mostra come codificare una forma d’onda in token e decodificarli per ricostruire l’audio. Poiché il caricamento può eseguire codice presente nel repository, è opportuno esaminare l’implementazione e fissare una revisione precisa prima di integrarla in un ambiente di lavoro.

Le versioni quantizzate Q4_0, Q4_K_M e Q8_0 del decoder non sono pubblicate come checkpoint separati in quel repository. Liquid AI indica che sono incluse nelle distribuzioni GGUF di LFM3-Audio-2B e LFM3-Omni-2B per l’inferenza locale con llama.cpp. Chi cerca un decoder quantizzato indipendente, quindi, non troverà quei file nella scheda di LiquidCodec.

I pesi sono distribuiti con LFM Open License v1.0, non con Apache 2.0. La licenza limita l’uso commerciale da parte delle entità che superano una soglia di ricavi annui di 10 milioni di dollari: tale uso commerciale non rientra nell’autorizzazione concessa dall’accordo. La licenza prevede un’eccezione specifica per le organizzazioni non profit qualificate quando utilizzano l’opera per scopi non commerciali o di ricerca. Prima di distribuire o ridistribuire il modello, è necessario leggere i termini applicabili al proprio uso.

La scheda non pubblica una tariffa per un’API ospitata. L’uso locale richiede risorse di calcolo, ma i costi dipendono dall’hardware, dal volume audio, dalla configurazione e dalla gestione del sistema; dalle metriche di prestazione non si può ricavare un costo per minuto.

Verifiche prima dell’integrazione

  1. 01Stabilisci se ti serve il codec BF16 del repository oppure un decoder quantizzato incluso in una distribuzione GGUF.
  2. 02Esamina il codice personalizzato prima di caricare il modello e fissa la revisione che utilizzerai.
  3. 03Verifica che il tuo caso d’uso riguardi la voce: la qualità su musica, canto e suoni ambientali non è stata valutata.
  4. 04Leggi LFM Open License v1.0 e controlla che l’uso commerciale e la redistribuzione rispettino le sue condizioni.
  5. 05Misura velocità e qualità con l’hardware, la lingua e le condizioni della tua applicazione.
05

Limiti e scelte pratiche

LiquidCodec è stato addestrato e valutato con la voce. Le sue prestazioni su musica, canto e suoni ambientali non sono state valutate, quindi le metriche pubblicate non giustificano l’estensione di risultati equivalenti a questi tipi di audio. Inoltre, il fatto che il modello sia multilingue nei dati di addestramento non basta per concludere che offra la stessa qualità in ogni lingua: i punteggi dipendono da set e compiti specifici.

Per decidere se è adatto, separa tre domande. La prima: il formato d’ingresso, la frequenza di campionamento e il flusso di token si adattano al tuo canale audio? La seconda: il costo computazionale misurato sul tuo dispositivo soddisfa i requisiti di streaming? La terza: la ricostruzione o il sistema TTS che realizzi raggiunge la qualità che ti serve? I dati della scheda possono orientare queste prove, ma non sostituirle.

La quantizzazione Q4_0 rappresenta un’opzione di distribuzione, non una garanzia universale di qualità. Liquid AI riferisce una perdita minima nei propri confronti, ma il risultato riguarda la sua valutazione e la configurazione usata. È opportuno ripetere il confronto con le voci, le lingue e i dispositivi previsti, soprattutto se una piccola differenza di qualità è importante per il prodotto.

In sintesi, LiquidCodec offre un tokenizzatore vocale compatto, con elaborazione causale e streaming, e pesi BF16 per l’uso locale. I test pubblicati indicano velocità elevate e buoni risultati di ricostruzione e TTS sui set valutati. La scheda del repository non stabilisce la data dell’annuncio né quella dell’effettiva disponibilità iniziale, e la documentazione citata non pubblica un prezzo per un’API.

06

Continua a esplorare

Fonti consultate

03

Correzioni e trasparenza

Se trovi un dato errato o non aggiornato, inviaci la pagina e la fonte da verificare.

Proponi una correzione