Ein Modell für unterschiedliche Textausgaben aus Aufnahmen
NVIDIA stellte Nemotron 3.5 Transcribe als Modell mit offenen Gewichten für die Verarbeitung aufgezeichneter Sprache vor. Es kann Transkripte in verschiedenen Stilen erstellen, Textabschnitte Sprechern zuordnen, gesprochene Sprache übersetzen und Fragen zum Audioinhalt beantworten. Der technische Bericht beschreibt Aufnahmen von bis zu einer Stunde sowie die Möglichkeit, auf Wunsch Wortzeitstempel mit Sprecherzuordnung auszugeben.
Das Modell erzeugt nicht nur ein einziges wörtliches Transkript. Eine natürlichsprachliche Anweisung kann die Ausgabeform vorgeben: etwa, ob Zögern erhalten bleiben, Zahlen normalisiert oder Fachbegriffe verwendet werden sollen. So lässt sich die Ausgabe an eine Aufgabe anpassen, ohne das Modell neu zu trainieren. Das garantiert jedoch weder, dass jede gewünschte Konvention stets eingehalten wird, noch dass jedes Wort korrekt erkannt wird.
Die Sprachabdeckung hängt von der jeweiligen Aufgabe ab. NVIDIA gibt Transkription in 40 Sprachen und Übersetzung für 31 Sprachen ins Englische oder aus dem Englischen an; die Sprecherzuordnung wird für 13 Sprachen beschrieben. Dass eine Sprache für eine Funktion unterstützt wird, bedeutet daher nicht, dass alle anderen Funktionen in derselben Breite verfügbar sind.
Funktionen und angegebener Umfang
Die Angaben in dieser Tabelle beschreiben die von NVIDIA veröffentlichten Fähigkeiten des Modells. Sie garantieren keine bestimmten Ergebnisse für eine konkrete Aufnahme.
| Funktion | Veröffentlichter Umfang | Was geprüft werden sollte |
|---|---|---|
| Transkription | 40 Sprachen; Aufnahmen von bis zu einer Stunde | Qualität für die jeweilige Sprache, den Akzent, Hintergrundgeräusche und den verwendeten Wortschatz |
| Übersetzung | 31 Sprachen ins Englische oder aus dem Englischen | Übersetzungsrichtung und Leistung für das konkrete Sprachenpaar |
| Sprecherzuordnung | 13 Sprachen; laut NVIDIA-Veröffentlichung auf Hugging Face bis zu acht Sprecher | Fehler bei der Trennung von Stimmen, insbesondere bei überlappender Sprache |
| Zeitstempel | Wortweise Zeitstempel auf Anfrage | Abgleich mit dem Audio und die für die Anwendung erforderliche zeitliche Genauigkeit |
Welches Modell veröffentlicht wurde und was offene Gewichte bedeuten
Der technische Bericht beschreibt eine Architektur aus einem Sprach-Encoder, einem eingefrorenen Diarisierungsmodell und dem Sprachmodell Nemotron 3.5 Lightning 30B-A3B. NVIDIA beziffert die Zahl der aktiven Parameter auf ungefähr 4,3 Milliarden. Das bedeutet nicht, dass das gesamte Modell nur 4,3 Milliarden Parameter hat: Der Checkpoint-Name und die technische Beschreibung beziehen sich auf eine Konfiguration mit 30 Milliarden Parametern, von denen jeweils ein Teil aktiv ist.
NVIDIA erklärt, die Gewichte unter der Lizenz OpenMDW-1.1 zu veröffentlichen. Außerdem gibt es Checkpoints in mehreren Formaten und Werkzeuge zur Feinabstimmung in NeMo Speech. „Offene Gewichte“ beschreibt den Zugang zu den Modellgewichten, bedeutet aber nicht automatisch, dass keinerlei Bedingungen gelten. Vor einer Integration in ein Produkt sollten Teams die Lizenz und die Bedingungen für Gewichte, Daten und verwendete Werkzeuge prüfen.
Der technische Bericht behandelt die Verarbeitung aufgezeichneter Sprache. In der NVIDIA-Veröffentlichung auf Hugging Face steht ausdrücklich, dass das Modell nicht für Live-Transkription entwickelt wurde. Ihm sollte deshalb nicht die Fähigkeit zugeschrieben werden, laufend eintreffendes Audio zu transkribieren. Diese Unterscheidung ist wichtig, wenn es darum geht, eine fertige Aufnahme zu verarbeiten oder eine interaktive Sprachanwendung zu entwickeln.
Granary v2: Daten und Werkzeuge zur Anpassung der Spracherkennung
Zusammen mit dem Modell stellte NVIDIA Granary v2 vor, einen Datensatz und eine Aufbereitungspipeline für Sprachbeispiele und Transkripte. Laut NVIDIA umfasst das öffentliche Manifest 463.062 Stunden aus 16 Korpora und deckt 48 Sprachen ab. Diese Zahlen beziehen sich auf das veröffentlichte Datensatzmanifest, nicht auf die vollständige Trainingsmischung von Nemotron 3.5 Transcribe.
Die Pipeline erzeugt verschiedene Transkriptvarianten, Aufgabenlabels und Qualitätsmetadaten. Zu den beschriebenen Varianten gehören eine normalisierte wortgetreue Transkription, eine Fassung mit konventionell ausgeschriebenen Zahlen und eine Version ohne Füllwörter und andere Unflüssigkeiten. Außerdem beschreibt NVIDIA Verfahren zur Erzeugung kurzer Audiobeschreibungen, kontextbezogener Begriffe, Übersetzungen und an Audio gebundener Frage-Antwort-Paare.
NVIDIA schlägt vor, diese Ressourcen mit NeMo Speech zu kombinieren, um die Erkennung an Fachwortschatz, Akzente und Schreibkonventionen eines bestimmten Bereichs anzupassen. Das kann hilfreich sein, wenn eine Anwendung auf Produktnamen, medizinische Begriffe oder bestimmte Ausgabeformate angewiesen ist. Repräsentative Daten und korrekte Beschriftungen bleiben dennoch notwendig: Eine Anpassung mit verzerrten Beispielen muss die tatsächliche Sprache und die realen Einsatzbedingungen nicht widerspiegeln.
Ein praktischer Ablauf zur Bewertung einer Anpassung
Die NVIDIA-Veröffentlichung beschreibt Anpassungsrezepte und eine medizinische Fallstudie. Der folgende Ablauf zeigt eine vorsichtige Möglichkeit, diesen Ansatz auf einen eigenen Anwendungsfall zu übertragen, ohne davon auszugehen, dass sich die Ergebnisse der Studie wiederholen.
- 01Legen Sie fest, welche Ausgabe benötigt wird: Sprache, Schriftsystem, Umgang mit Zahlen und Unflüssigkeiten sowie Fachbegriffe.
- 02Erstellen Sie eine Referenz aus repräsentativen Aufnahmen und geprüften Transkripten. Trennen Sie Sprecher, deren Daten zum Anpassen der Konfiguration dienen, von denen, die für die Bewertung reserviert sind.
- 03Testen Sie zunächst Anweisungen und Kontextlisten. Prüfen Sie, ob vorgeschlagene Begriffe durch das Audio gestützt werden, statt ein Wort allein deshalb zu übernehmen, weil es in der Liste steht.
- 04Falls relevante Fehler bestehen bleiben, bewerten Sie eine Anpassung mit repräsentativen Beispielen und geprüften Beschriftungen.
- 05Vergleichen Sie das angepasste Modell mit der Ausgangsversion anhand von Sprechern und Aufnahmen, die nicht zum Anpassen verwendet wurden. Prüfen Sie sowohl Fehler im Fachbereich als auch die Leistung bei allgemeiner Sprache.
Was die veröffentlichten Ergebnisse belegen
NVIDIA berichtet über günstige Ergebnisse in mehreren Benchmarks für Spracherkennung und Sprecherzuordnung, darunter öffentliche Testsätze. Im technischen Bericht nennt das Unternehmen einen mittleren Wortfehlerrate-Wert von 4,71 Prozent über neun Testsätze des englischen Open ASR Leaderboard sowie 4,62 Prozent in der mehrsprachigen Auswertung. Die NVIDIA-Veröffentlichung auf Hugging Face führt außerdem weitere Vergleiche und Kennzahlen auf, deren Werte vom jeweiligen Benchmark und seiner Konfiguration abhängen.
Diese Werte sind kein allgemeingültiges Maß für Genauigkeit. Die Wortfehlerrate hängt von den getesteten Aufnahmen, der Sprache, dem Referenzformat und den Normalisierungsregeln ab. Auch ein Ranglistenplatz belegt nicht, dass das Modell in jedem Akzent, Raum, mit jedem Mikrofon oder bei jeder Gesprächsform besser abschneidet als ein anderes System. Die genannten Ergebnisse stammen von NVIDIA; die herangezogenen Quellen enthalten keine unabhängige Auswertung, die diese Herstellervergleiche allgemein bestätigen würde.
Die von NVIDIA veröffentlichte medizinische Anpassungsstudie liefert ein begrenztes Anwendungsbeispiel. Für Sprecher, die beim Anpassen nicht verwendet wurden, berichtet das Unternehmen einen Rückgang der Wortfehlerrate von 22,44 auf 12,17 Prozent gegenüber einer Ausgangsbasis mit der besten getesteten Anweisung. Gleichzeitig nennt NVIDIA einen leichten Anstieg der Fehlerrate auf LibriSpeech test-clean von 1,54 auf 1,69 Prozent. Das Ergebnis gilt für diesen Datensatz, dieses Rezept und dieses Testverfahren; es garantiert keine Verbesserung für andere Fachgebiete oder Daten.
Leistungskennzahlen richtig einordnen
Eine Benchmark-Zahl lässt sich nur zusammen mit dem Testsatz und den verwendeten Regeln interpretieren. Die herangezogene Primärquelle berichtet die Ergebnisse; daraus folgt keine Garantie für andere Anwendungen.
| Veröffentlichte Angabe | Was sie misst oder beschreibt | Grenze der Interpretation |
|---|---|---|
| 4,71 % WER | Von NVIDIA berichteter Mittelwert über neun Testsätze des englischen Benchmarks | Sagt den Fehlerwert einzelner Aufnahmen oder aller Sprachen nicht voraus |
| 4,62 % WER | Von NVIDIA berichteter Mittelwert der mehrsprachigen Auswertung | Abdeckung und Ergebnis hängen von den einbezogenen Sprachen und Testsätzen ab |
| 12,17 % gegenüber 22,44 % WER | Berichtetes Ergebnis für zurückgehaltene Sprecher in einer medizinischen Anpassungsstudie | Abhängig von Korpus, Auswahl der Anweisungen und Anpassungsverfahren |
| 1,54 % gegenüber 1,69 % WER | Berichtetes Ergebnis auf LibriSpeech test-clean vor und nach der medizinischen Anpassung | Zeigt, dass eine Verbesserung in einem Bereich mit einer Veränderung bei allgemeiner Sprache einhergehen kann |
Wie sich der Nutzen für eine Anwendung bewerten lässt
Für Meetings, Diktate oder die Analyse von Aufnahmen kann die Kombination aus Transkription, Übersetzung und Zeitstempeln den Bedarf verringern, mehrere Komponenten miteinander zu verbinden. Die Sprecherzuordnung kann außerdem die Prüfung erleichtern, wer was gesagt hat. Wenn eine falsche Zuordnung erhebliche Folgen hätte, sollte das Ergebnis jedoch anhand des Audios überprüft werden.
Eine repräsentative Erprobung sollte die tatsächlich verwendeten Sprachen und Akzente, Hintergrundgeräusche, überlappende Stimmen und seltene Begriffe enthalten. Fehler bei Namen, Zahlen und Fachwörtern sollten getrennt vom allgemeinen Durchschnitt ausgewertet werden. Bei der Sprecheridentifikation sollten außerdem Sprecherwechsel und gleichzeitige Äußerungen geprüft werden, nicht nur klare Gespräche.
Die verfügbaren Gewichte und Anpassungswerkzeuge eröffnen Möglichkeiten für Bereitstellung und Anpassung. Aus den herangezogenen Angaben lassen sich jedoch keine allgemeinen Kosten, Latenzen oder Hardwareanforderungen für jede Konfiguration ableiten. Solche Faktoren hängen vom Checkpoint, der Quantisierung, dem Server und der Auslastung ab. Eine Einführungsentscheidung sollte sich auf eigene Tests stützen und die Lizenz sowie die Bedingungen für die Datenverarbeitung berücksichtigen.
Was sich aus den verfügbaren Angaben nicht ableiten lässt
Die herangezogenen Quellen beschreiben NVIDIAs Ankündigung, den technischen Bericht der NVIDIA-Autoren und die vom Unternehmen veröffentlichten Kennzahlen. Sie belegen nicht, dass die Ergebnisse unabhängig reproduziert wurden oder dass die Benchmark-Platzierungen bei allen Versionen, Auslastungen und Konfigurationen bestehen bleiben. Der technische Bericht ist eine Originalveröffentlichung von NVIDIA; die verfügbaren Informationen reichen nicht aus, um ihm eine Begutachtung durch Fachkollegen zuzuschreiben.
Ebenso lässt sich aus dem Granary-v2-Manifest nicht schließen, dass es das gesamte Trainingsmaterial des Modells umfasst. Auch bedeutet die Sprachabdeckung nicht, dass jede Sprache bei allen Aufgaben dieselbe Qualität erreicht. Die NVIDIA-Veröffentlichung unterscheidet selbst nach Funktionen und erläutert, dass sich das öffentliche Manifest auf den Datensatz und seine Aufbereitungspipeline bezieht.
Nemotron 3.5 Transcribe ist ein Modell mit offenen Gewichten, das mehrere Sprachaufgaben für Aufnahmen und Möglichkeiten zur Anpassung bietet. Sein praktischer Nutzen hängt von der konkreten Kombination aus Sprache, Ausgabeformat und akustischen Bedingungen ab. Die veröffentlichten Benchmarks können als Ausgangspunkt dienen; ob das Modell für einen bestimmten Einsatz geeignet ist, lässt sich am besten mit repräsentativen eigenen Daten und einer menschlichen Prüfung wichtiger Fehler bewerten.
Offene Fragen
- Die herangezogenen Quellen enthalten keine unabhängige Auswertung, die NVIDIAs Leistungsvergleiche allgemein bestätigt.
- Die verfügbare Dokumentation weist keine gleichwertigen Ergebnisse, Latenzen oder Abdeckung für jede Kombination aus Sprache und Aufgabe aus.
- Leistung und Bereitstellungsanforderungen hängen vom Checkpoint, der Konfiguration und den Einsatzbedingungen ab.
Weiter entdecken
Verwendete Quellen
Korrekturen und Transparenz
Wenn du falsche oder veraltete Angaben findest, sende uns die Seite und die zu prüfende Quelle.
Korrektur vorschlagen