Mistral stellt Voxtral 3 vor: Offline-, Echtzeit-Transkription und Sprachsynthese

Was wurde wann veröffentlicht?

Mistral AI hat die Veröffentlichung der Voxtral-3-Familie am 20. Oktober 2026 bestätigt. Diese neue Generation von Audio-Modellen umfasst vier spezifische Varianten: Voxtral Small Transcribe 3, Voxtral Mini Transcribe 3, Voxtral Mini Transcribe Realtime 3 und Voxtral TTS 3. Die offizielle Ankündigung erfolgte über die Kommunikationskanäle des Unternehmens und wird durch die auf dem Entwicklerportal veröffentlichte technische Dokumentation gestützt.

Die anfängliche Verfügbarkeit erfolgt im Format eines öffentlichen Vorabtests (Public Preview) über die Mistral-API. Das bedeutet, dass die Modelle für Entwickler bereits zugänglich sind, aber während der Vorabtestphase Änderungen an der Schnittstelle oder den Spezifikationen unterliegen können. Es wurden derzeit keine herunterladbaren Gewichte für den lokalen Betrieb veröffentlicht; der Zugriff erfolgt ausschließlich über die vom Anbieter gehostete Infrastruktur.

Varianten, Modalitäten und Zugriff

Die Voxtral-3-Familie gliedert sich in zwei Hauptkategorien: Spracherkennung (Speech-to-Text, STT) und Sprachsynthese (Text-to-Speech, TTS). Innerhalb der Transkription gibt es drei Varianten: Small, Mini und Mini Realtime. Die Small-Variante ist für aufgezeichnete Audio-Dateien ausgelegt, während Mini eine leichtere Alternative für denselben Zweck bietet. Die Mini-Realtime-Variante ist speziell für Live-Audioströme über WebSocket konzipiert und ermöglicht die inkrementelle Transkription.

Das Modell Voxtral TTS 3 ist für die Audioerzeugung aus Text zuständig. Im Gegensatz zu früheren Versionen umfasst diese Iteration Funktionen zur Sprachklonung über eine optionale Audio-Referenz. Der Zugriff auf alle Modelle erfolgt über die Mistral-API unter Verwendung spezifischer, versionierter Bezeichner für jede Variante. Dies ermöglicht es Entwicklern, die genaue Version zu fixieren, die sie in ihren Anwendungen verwenden möchten.

Was sich für den Nutzer ändert

Für Entwicklungsteams ist die wichtigste Neuerung die Vereinheitlichung des Audio-Angebots unter einer Familie mit verbesserten Fähigkeiten. Die Transkription umfasst nun nativ die Sprecherzuordnung (Diarization) und die Möglichkeit, einen Kontext-Bias (Context Bias) anzuwenden, um die Genauigkeit bei spezialisiertem Vokabular, wie Eigennamen oder Fachterminologie, zu verbessern.

Im Bereich der Sprachsynthese stellt die Einführung der Sprachklonung eine signifikante Änderung gegenüber früheren Versionen dar, die auf vordefinierte Stimmen beschränkt waren. Es ist jedoch wichtig hervorzuheben, dass freie Stil-Anweisungen zum Zeitpunkt der Veröffentlichung nicht verfügbar sind; die Anpassung erfolgt über Emotionstags und die Sprachreferenz. Darüber hinaus wurde ein auf LiveKit basierendes SDK für Voice-Agents veröffentlicht, das die Integration dieser Funktionen in konversationelle Anwendungen erleichtert.

Preis, Grenzen und offene Punkte

Die Preisstruktur von Voxtral 3 basiert auf dem Audio- oder Textverbrauch, nicht auf Tokens. Für die Transkription liegen die Kosten zwischen 0,0035 USD und 0,008 USD pro Minute Audio, je nach Variante (Mini ist die günstigste, während Realtime aufgrund der Komplexität der Live-Verarbeitung höhere Kosten verursacht). Die Sprachsynthese kostet 13 USD pro Million Zeichen.

Was die technischen Grenzen betrifft, so gibt die offizielle Dokumentation an, dass die Transkriptionsmodelle bis zu 50 Sprachen unterstützen, während das Echtzeitmodell 45 Sprachen und Dialekte spezifiziert. Es gibt eine geringfügige Diskrepanz in der Dokumentation bezüglich der Kontextgröße: Die Modellfiches geben 32k Tokens an, während die Audio-Grenzen-Guide 65.536 geteilte Tokens erwähnt. Entwickler sollten das spezifische Limit ihres gebuchten Endpunkts validieren, bevor sie Anwendungen implementieren, die sehr lange Audio-Sitzungen verarbeiten.

Technische und Datenschutzbedenken

Bei der Arbeit mit Echtzeit-Audio ist es entscheidend, Rekonnektierungen und die Erkennung des Gesprächsendes (End-of-Turn) korrekt zu verwalten, um Datenverlust oder vorzeitige Unterbrechungen von Gesprächen zu vermeiden. Die Sprechererkennung in Voxtral 3 ist eine Funktion der Diarization, keine biometrische Identifikation; sie sollte daher nicht verwendet werden, um die Identität von Personen endgültig zu verifizieren.

Aus Datenschutzsicht kann das verarbeitete Audio sensible personenbezogene Daten enthalten. Entwickler sollten klare Datenretentionsrichtlinien implementieren, Benutzer über die Verarbeitung ihrer Stimme informieren und sicherstellen, dass die Sprachklonung nur mit der ausdrücklichen Einwilligung der Person erfolgt, deren Stimme repliziert wird. Die Klonung darf nicht zur Identitätsanmaßung oder für betrügerische Zwecke verwendet werden.

Weiter entdecken

Korrekturen und Transparenz

Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.