O que é o LiquidCodec e o que foi publicado
O LiquidCodec é um codec neural de voz que transforma áudio em tokens discretos e depois converte esses tokens novamente em áudio. A Liquid AI publicou pesos BF16 em um repositório oficial. O modelo foi projetado para voz mono a 24 kHz e permite codificação e decodificação em streaming.
A ficha técnica apresenta o LiquidCodec como o tokenizador de áudio do LFM3-Audio-2B e do LFM3-Omni-2B. Também é possível carregá-lo separadamente com Transformers, usando código personalizado incluído no repositório. Essa compatibilidade não significa que o codec transforme texto em voz por conta própria: ele precisa de tokens de áudio para reconstruir a fala e não é um sistema TTS completo.
Como funciona e qual é o seu tamanho
O modelo tem aproximadamente 74 milhões de parâmetros e uma arquitetura causal simétrica: o codificador e o decodificador usam blocos baseados no LFM3. A ficha informa que ele processa voz a 24 kHz, gera quadros a 12,5 Hz e atribui doze tokens a cada quadro, com uma taxa de bits aproximada de 1,65 kbps.
Sua quantização escalar finita agrupada, ou GFSQ, divide as características em grupos e quantiza cada grupo de forma independente. Cada grupo produz um token. Ao contrário de uma cadeia de codebooks com dependências sequenciais, esse projeto permite prever em paralelo os tokens de um quadro. O mecanismo pode facilitar a geração paralela, mas não garante, por si só, uma reconstrução mais fiel nem uma síntese mais natural.
A Liquid AI descreve o codificador e o decodificador como totalmente causais, uma propriedade compatível com o processamento por quadros e o streaming. O decodificador prevê coeficientes espectrais diretamente, em vez de depender de uma sequência de etapas de sobreamostragem com convoluções transpostas aprendidas. São escolhas de arquitetura; seu efeito prático depende do dispositivo, da implementação e da tarefa.
Ficha técnica publicada
| Propriedade | Especificação |
|---|---|
| Entrada e saída | Voz mono a 24 kHz |
| Taxa de quadros | 12,5 Hz |
| Tokens por quadro | 12 |
| Taxa de bits aproximada | 1,65 kbps |
| Parâmetros | Aproximadamente 74 milhões |
| Pesos do repositório | BF16 |
O que os testes de desempenho e qualidade indicam
A Liquid AI informa que o LiquidCodec codifica a cerca de 361 vezes o tempo real e decodifica a cerca de 87 vezes, em medições feitas em FP32 com uma única thread de CPU em um Apple M4 Max. A métrica RTF divide o tempo de processamento pela duração do áudio; um valor menor indica maior velocidade. Esses números não equivalem à latência de um aplicativo completo e não foram reproduzidos de forma independente neste material.
Para a reconstrução de voz em inglês, a empresa publica uma pontuação ViSQOL de 4,319 para o LiquidCodec BF16 no LibriSpeech test-clean. O teste compara o áudio reconstruído com o original; não mede a qualidade da geração de voz a partir de texto. O resultado pertence a esse conjunto de avaliação e a essa configuração, não representa uma média geral entre idiomas ou usos.
A ficha também apresenta comparações em oito conjuntos de teste de reconstrução e TTS. Nos testes da empresa, o LiquidCodec obteve as melhores pontuações ViSQOL e a menor distância mel nos oito conjuntos de reconstrução; em TTS, os modelos treinados com seus tokens alcançaram as maiores pontuações UTMOSv2 nos oito conjuntos. Esses resultados foram publicados pela Liquid AI. A metodologia descrita controla dados, arquitetura e computação no experimento de TTS, mas não transforma os resultados em uma garantia para outros modelos, vozes, idiomas ou condições.
Como interpretar três resultados publicados
| Resultado | Configuração | O que permite concluir |
|---|---|---|
| Codificação: RTF 0,0028 | FP32, uma thread de CPU, Apple M4 Max | Velocidade do codificador nesse teste; RTF menor significa maior velocidade. |
| Decodificação: RTF 0,0115 | FP32, uma thread de CPU, Apple M4 Max | Velocidade do decodificador nesse teste; não é a latência integral de um aplicativo. |
| ViSQOL: 4,319 | Reconstrução BF16 no LibriSpeech test-clean, inglês | Pontuação de reconstrução nesse conjunto; não mede TTS nem todos os idiomas. |
Acesso, formatos e licença
O repositório oferece pesos BF16 e carregamento por meio do Transformers com código personalizado. A documentação mostra como codificar uma forma de onda em tokens e decodificá-los para reconstruir áudio. Como o carregamento pode executar código do repositório, é recomendável revisar a implementação e fixar uma revisão específica antes de incorporá-la a um ambiente de trabalho.
As versões quantizadas Q4_0, Q4_K_M e Q8_0 do decodificador não são publicadas como checkpoints separados nesse repositório. A Liquid AI informa que elas estão incluídas nas distribuições GGUF do LFM3-Audio-2B e do LFM3-Omni-2B para inferência local com llama.cpp. Portanto, quem procura especificamente um decodificador quantizado independente não encontrará esses arquivos na ficha do LiquidCodec.
Os pesos estão sujeitos à LFM Open License v1.0, e não à Apache 2.0. A licença condiciona o uso comercial por entidades que ultrapassem um limite de receita anual de 10 milhões de dólares: esse tipo de uso comercial não está autorizado pelo acordo. A licença estabelece uma exceção específica para organizações sem fins lucrativos qualificadas quando usam a obra para fins não comerciais ou de pesquisa. Leia os termos aplicáveis ao uso e à distribuição antes de implantar ou redistribuir o modelo.
A ficha não publica uma tarifa de API hospedada. O uso local requer recursos computacionais, mas o custo dependerá do hardware, do volume de áudio, da configuração e da operação do sistema; não é possível deduzir um custo por minuto a partir das métricas de desempenho.
O que verificar antes da integração
- 01Identifique se você precisa do codec BF16 do repositório ou de um decodificador quantizado integrado a uma distribuição GGUF.
- 02Revise o código personalizado antes de carregar o modelo e fixe a revisão que será usada.
- 03Confirme se o seu caso de uso é voz: a qualidade em música, canto e sons ambientes não foi avaliada.
- 04Leia a LFM Open License v1.0 e confirme se o uso comercial e a redistribuição estão de acordo com as condições.
- 05Meça velocidade e qualidade no hardware, idioma e condições do seu próprio aplicativo.
Limites e decisões práticas
O LiquidCodec foi treinado e avaliado com voz. Seu desempenho em música, canto e sons ambientes não foi avaliado, portanto as métricas publicadas não justificam extrapolar uma qualidade equivalente para esses tipos de áudio. Também não basta que o modelo tenha dados de treinamento multilíngues para concluir que oferece a mesma qualidade em cada idioma: as pontuações dependem de conjuntos e tarefas específicos.
Para decidir se ele atende às suas necessidades, separe três perguntas. A primeira é se o formato de entrada, a taxa de amostragem e o fluxo de tokens servem ao seu canal de áudio. A segunda é se o custo computacional medido no seu equipamento atende aos requisitos de streaming. A terceira é se a reconstrução ou o sistema TTS que você desenvolver alcança a qualidade necessária. Os números da ficha ajudam a orientar esses testes, mas não os substituem.
A quantização Q4_0 oferece outra opção de implantação, não uma garantia universal de qualidade. A Liquid AI informa uma perda mínima em suas comparações, mas esse resultado se refere à avaliação e à configuração da empresa. Convém repetir a comparação com as vozes, os idiomas e os equipamentos previstos, especialmente se uma pequena diferença de qualidade puder afetar o produto.
Em síntese, a contribuição prática do LiquidCodec é oferecer um tokenizador compacto de voz, com processamento causal e streaming, além de pesos BF16 para uso local. Os testes publicados apontam velocidade elevada e bons resultados de reconstrução e TTS nos conjuntos avaliados. A ficha do repositório não estabelece a data do anúncio nem o momento inicial de disponibilidade, e a documentação citada não publica um preço de API.
Continue a explorar
Correções e transparência
Se encontrar informação incorreta ou desatualizada, envie-nos a página e a fonte que devemos rever.
Propor uma correção