Was LiquidCodec ist und was veröffentlicht wurde
LiquidCodec ist ein neuronaler Sprachcodec, der Audio in diskrete Tokens umwandelt und daraus wieder Audio erzeugt. Liquid AI hat BF16-Gewichte in einem offiziellen Repository veröffentlicht. Das Modell ist für Mono-Sprache mit 24 kHz ausgelegt und unterstützt Streaming beim Kodieren und Dekodieren.
Das Datenblatt beschreibt LiquidCodec als Audiotokenizer für LFM3-Audio-2B und LFM3-Omni-2B. Mit dem im Repository enthaltenen benutzerdefinierten Code lässt sich das Modell außerdem separat mit Transformers laden. Diese Kompatibilität bedeutet nicht, dass der Codec selbst Text in Sprache umwandelt: Für die Rekonstruktion benötigt er Audiotokens und ist kein vollständiges Text-zu-Sprache-System.
Funktionsweise und Modellgröße
Das Modell hat etwa 74 Millionen Parameter und eine symmetrische, kausale Architektur: Encoder und Decoder verwenden auf LFM3 basierende Blöcke. Laut Datenblatt verarbeitet es Sprache mit 24 kHz, erzeugt Frames mit 12,5 Hz und ordnet jedem Frame zwölf Tokens zu. Die Bitrate beträgt ungefähr 1,65 kbps.
Die gruppierte finite skalare Quantisierung, kurz GFSQ, teilt Merkmale in Gruppen auf und quantisiert jede Gruppe unabhängig. Jede Gruppe erzeugt ein Token. Anders als bei einer Folge von Codebooks mit sequenziellen Abhängigkeiten lassen sich mit diesem Design die Tokens eines Frames parallel vorhersagen. Dieser Mechanismus kann die parallele Generierung erleichtern, garantiert für sich genommen aber weder eine originalgetreuere Rekonstruktion noch eine natürlichere Sprachsynthese.
Liquid AI beschreibt Encoder und Decoder als vollständig kausal – eine Eigenschaft, die zur Verarbeitung von Frames und zu Streaming passt. Der Decoder sagt Spektralkoeffizienten direkt voraus, statt sich auf eine Reihe von Upsampling-Stufen mit gelernten transponierten Faltungen zu stützen. Das sind Architekturentscheidungen; ihre praktischen Auswirkungen hängen vom Gerät, der Implementierung und der jeweiligen Aufgabe ab.
Veröffentlichte technische Daten
| Eigenschaft | Angabe |
|---|---|
| Ein- und Ausgabe | Mono-Sprache mit 24 kHz |
| Frame-Rate | 12,5 Hz |
| Tokens pro Frame | 12 |
| Ungefähre Bitrate | 1,65 kbps |
| Parameter | Etwa 74 Millionen |
| Gewichte im Repository | BF16 |
Was die Tests zu Leistung und Qualität aussagen
Liquid AI gibt an, dass LiquidCodec auf einer Apple-M4-Max-CPU mit einem Thread in FP32 etwa 361-mal schneller als Echtzeit kodiert und etwa 87-mal schneller als Echtzeit dekodiert. Die Metrik RTF teilt die Verarbeitungszeit durch die Audiodauer; ein niedrigerer Wert bedeutet höhere Geschwindigkeit. Diese Zahlen entsprechen nicht der Gesamtlatenz einer vollständigen Anwendung und wurden in diesem Material nicht unabhängig reproduziert.
Für die Rekonstruktion englischer Sprache veröffentlicht das Unternehmen einen ViSQOL-Wert von 4,319 für LiquidCodec BF16 auf LibriSpeech test-clean. Dabei wird das rekonstruierte Audio mit dem Original verglichen; die Prüfung misst nicht die Qualität der Sprachgenerierung aus Text. Das Ergebnis gilt für diesen Testsatz und diese Konfiguration, nicht als allgemeiner Durchschnitt über Sprachen und Anwendungsfälle.
Das Datenblatt enthält außerdem Vergleiche auf acht Testsets für Rekonstruktion und Text-zu-Sprache. In den Tests von Liquid AI erzielte LiquidCodec bei allen acht Rekonstruktionssets die besten ViSQOL-Werte und die niedrigste Mel-Distanz. Bei Text-zu-Sprache erreichten die mit LiquidCodec-Tokens trainierten Modelle auf allen acht Testsets die höchsten UTMOSv2-Werte. Liquid AI hat diese Ergebnisse veröffentlicht. Die beschriebene TTS-Methodik kontrolliert Daten, Architektur und Rechenaufwand im Experiment, macht die Ergebnisse aber nicht zu einer Garantie für andere Modelle, Stimmen, Sprachen oder Bedingungen.
Drei veröffentlichte Ergebnisse richtig einordnen
| Ergebnis | Konfiguration | Was sich daraus schließen lässt |
|---|---|---|
| Kodierung: RTF 0,0028 | FP32, ein CPU-Thread, Apple M4 Max | Geschwindigkeit des Encoders in diesem Test; ein niedrigerer RTF-Wert bedeutet höhere Geschwindigkeit. |
| Dekodierung: RTF 0,0115 | FP32, ein CPU-Thread, Apple M4 Max | Geschwindigkeit des Decoders in diesem Test; keine Messung der Gesamtlatenz einer Anwendung. |
| ViSQOL: 4,319 | Rekonstruktion in BF16 auf LibriSpeech test-clean, Englisch | Rekonstruktionswert für diesen Testsatz; misst weder Text-zu-Sprache noch alle Sprachen. |
Zugang, Formate und Lizenz
Das Repository stellt BF16-Gewichte bereit, die sich mit Transformers und benutzerdefiniertem Code laden lassen. Die Dokumentation zeigt, wie sich eine Wellenform in Tokens kodieren und anschließend zur Rekonstruktion von Audio dekodieren lässt. Da beim Laden Code aus dem Repository ausgeführt werden kann, sollte man die Implementierung prüfen und eine konkrete Revision festlegen, bevor man sie in eine Arbeitsumgebung übernimmt.
Die quantisierten Decoder-Versionen Q4_0, Q4_K_M und Q8_0 werden in diesem Repository nicht als separate Checkpoints veröffentlicht. Laut Liquid AI sind sie in GGUF-Distributionen von LFM3-Audio-2B und LFM3-Omni-2B für die lokale Inferenz mit llama.cpp enthalten. Wer gezielt einen eigenständigen quantisierten Decoder sucht, findet diese Dateien daher nicht in der LiquidCodec-Repository-Seite.
Für die Gewichte gilt die LFM Open License v1.0, nicht Apache 2.0. Die Lizenz schränkt die kommerzielle Nutzung durch Unternehmen mit einem Jahresumsatz oberhalb eines Schwellenwerts von 10 Millionen US-Dollar ein: Eine solche kommerzielle Nutzung ist durch die erteilte Vereinbarung nicht lizenziert. Für qualifizierte gemeinnützige Organisationen gilt eine besondere Ausnahme, wenn sie das Werk für nichtkommerzielle Zwecke oder Forschungszwecke nutzen. Vor dem Einsatz oder der Weitergabe des Modells sollten die für den konkreten Verwendungszweck geltenden Bedingungen geprüft werden.
Das Datenblatt nennt keinen Preis für eine gehostete API. Bei der lokalen Nutzung fallen Rechenkosten an; ihre Höhe hängt jedoch von Hardware, Audiomenge, Konfiguration und Betrieb des Systems ab. Aus den Leistungskennzahlen lässt sich kein Preis pro Audiominute ableiten.
Was vor der Integration zu prüfen ist
- 01Kläre, ob du den BF16-Codec aus dem Repository oder einen quantisierten Decoder aus einer GGUF-Distribution benötigst.
- 02Prüfe den benutzerdefinierten Code vor dem Laden des Modells und lege die verwendete Revision fest.
- 03Prüfe, ob dein Anwendungsfall Sprache betrifft: Die Qualität bei Musik, Gesang und Umgebungsgeräuschen wurde nicht untersucht.
- 04Lies die LFM Open License v1.0 und stelle sicher, dass kommerzielle Nutzung und Weitergabe ihren Bedingungen entsprechen.
- 05Miss Geschwindigkeit und Qualität auf der Hardware und in den Sprachen und Bedingungen deiner eigenen Anwendung.
Grenzen und praktische Entscheidungen
LiquidCodec wurde mit Sprache trainiert und für Sprache evaluiert. Seine Leistung bei Musik, Gesang und Umgebungsgeräuschen wurde nicht untersucht; die veröffentlichten Kennzahlen rechtfertigen daher keine Übertragung auf diese Audiotypen. Auch lässt sich aus mehrsprachigen Trainingsdaten allein nicht schließen, dass die Qualität in jeder Sprache gleich ist: Die Ergebnisse hängen von den konkreten Testsets und Aufgaben ab.
Für die Entscheidung, ob LiquidCodec passt, solltest du drei Fragen getrennt betrachten. Erstens: Eignen sich Eingabeformat, Abtastrate und Tokenstrom für deinen Audiokanal? Zweitens: Erfüllt der auf deinem Gerät gemessene Rechenaufwand deine Anforderungen an Streaming? Drittens: Erreichen die Rekonstruktion oder das von dir entwickelte TTS-System die erforderliche Qualität? Die Angaben im Datenblatt können diese Tests orientieren, aber nicht ersetzen.
Die Quantisierung mit Q4_0 ist eine weitere Deployment-Option, keine allgemeine Qualitätsgarantie. Liquid AI berichtet von minimalen Einbußen in seinen Vergleichen, doch dieses Ergebnis gilt für die dort verwendete Evaluation und Konfiguration. Es ist sinnvoll, den Vergleich mit den vorgesehenen Stimmen, Sprachen und Geräten zu wiederholen – besonders dann, wenn schon kleine Qualitätsunterschiede für das Produkt relevant sind.
Der praktische Beitrag von LiquidCodec besteht darin, einen kompakten Sprach-Tokenizer mit kausaler Verarbeitung und Streaming sowie lokal nutzbare BF16-Gewichte bereitzustellen. Die veröffentlichten Tests deuten in den evaluierten Datensätzen auf hohe Geschwindigkeit und gute Ergebnisse bei Rekonstruktion und TTS hin. Das Datum der Ankündigung und der Zeitpunkt der erstmaligen Verfügbarkeit gehen aus dem Repository-Datenblatt nicht hervor; auch in der dort zitierten Dokumentation ist kein API-Preis veröffentlicht.
Weiter entdecken
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen