NVIDIA publie Nemotron 3.5 Transcribe pour l’audio enregistré : transcription, traduction et attribution des locuteurs

Un modèle qui transforme les enregistrements en différents types de texte

NVIDIA présente Nemotron 3.5 Transcribe comme un modèle à poids ouverts conçu pour traiter de l’audio enregistré. Il peut produire des transcriptions de styles différents, attribuer des segments à des locuteurs, traduire la parole et répondre à des questions sur le contenu audio. Le rapport technique décrit des enregistrements pouvant durer jusqu’à une heure et la possibilité de demander des horodatages par mot avec attribution du locuteur.

Le modèle ne se limite pas à produire une unique transcription littérale. Une instruction en langage naturel peut orienter la forme de la réponse : conserver les hésitations, normaliser les nombres ou employer des termes propres à un domaine, par exemple. Cela permet d’ajuster le résultat à une tâche sans réentraîner le modèle, mais ne garantit ni le respect systématique de la convention demandée ni la reconnaissance correcte de chaque mot.

La couverture linguistique dépend de la tâche. NVIDIA indique que le modèle transcrit dans 40 langues et traduit 31 langues vers l’anglais ou depuis l’anglais ; l’attribution des locuteurs est décrite pour 13 langues. La prise en charge d’une langue pour une fonction ne signifie donc pas que toutes les autres fonctions offrent une couverture équivalente.

Quel modèle a été publié et que signifie l’expression « poids ouverts » ?

Le rapport technique décrit une architecture qui associe un encodeur vocal, un modèle de diarisation figé et le modèle de langage Nemotron 3.5 Lightning 30B-A3B. NVIDIA indique qu’environ 4,3 milliards de paramètres sont actifs. Cela ne signifie pas que le modèle complet ne compte que 4,3 milliards de paramètres : le nom du checkpoint et la description technique renvoient à une configuration de 30 milliards de paramètres, dont une partie est active pour chaque jeton.

NVIDIA précise publier les poids sous la licence OpenMDW-1.1 et proposer plusieurs formats de checkpoints, ainsi que des outils de réglage fin dans NeMo Speech. L’expression « poids ouverts » désigne l’accès aux poids, mais ne signifie pas à elle seule qu’il n’y a aucune condition d’utilisation. Avant d’intégrer le modèle à un produit, il faut consulter la licence et les conditions applicables aux poids, aux données et aux outils utilisés.

Le rapport technique présente le système comme destiné à l’audio enregistré ; la publication de NVIDIA sur Hugging Face précise qu’il n’a pas été conçu pour la transcription en direct. Il ne faut donc pas attribuer à ce modèle la capacité de transcrire le son à mesure qu’il arrive. Cette distinction est importante pour choisir entre le traitement d’un enregistrement terminé et la création d’une expérience vocale interactive.

Granary v2 : données et outils pour adapter la reconnaissance

En parallèle du modèle, NVIDIA a présenté Granary v2, un jeu de données et un pipeline de curation destinés à préparer des exemples vocaux et des transcriptions. La publication de NVIDIA décrit un manifeste public de 463 062 heures provenant de 16 corpus et couvrant 48 langues. Ces chiffres correspondent au manifeste du jeu de données publié, et non à l’ensemble des données d’entraînement de Nemotron 3.5 Transcribe.

Le pipeline produit différentes variantes de transcription, des étiquettes de tâches et des métadonnées de qualité. Parmi les variantes décrites figurent une transcription verbatim normalisée, une forme où les nombres sont écrits selon les conventions usuelles et une version sans disfluences. La publication présente aussi des processus de génération de courtes descriptions audio, de termes contextuels, de traductions et de paires de questions-réponses liées à l’audio.

NVIDIA propose d’associer ces ressources à NeMo Speech pour adapter la reconnaissance au vocabulaire, aux accents et aux conventions écrites d’un domaine. Un réglage peut être utile lorsqu’une application dépend de noms de produits, de termes médicaux ou de formats spécifiques. Il ne supprime pas le besoin de données représentatives et d’étiquettes correctes : un réglage fondé sur des exemples biaisés risque de ne pas refléter la parole ni les conditions réelles d’utilisation.

Ce que les résultats publiés étayent

NVIDIA rapporte de bons résultats sur plusieurs benchmarks de reconnaissance vocale et d’attribution des locuteurs, notamment sur des jeux d’évaluation publics. Le rapport technique indique des taux d’erreur de mots moyens de 4,71 % sur neuf jeux de données de l’Open ASR Leaderboard en anglais et de 4,62 % pour l’évaluation multilingue. La publication de NVIDIA sur Hugging Face présente aussi des résultats issus d’autres comparaisons et métriques, dont les chiffres dépendent du benchmark et de sa configuration.

Ces chiffres ne constituent pas une mesure universelle de l’exactitude. Le taux d’erreur de mots dépend des enregistrements évalués, de la langue, du format de référence et des règles de normalisation. Le classement ne démontre pas non plus que le modèle surpassera un autre système pour chaque accent, salle, microphone ou type de conversation. Les résultats cités sont communiqués par NVIDIA ; les sources consultées ne fournissent pas d’évaluation indépendante permettant de confirmer de manière générale les comparaisons du fabricant.

L’étude d’adaptation médicale publiée par NVIDIA fournit un exemple circonscrit. Pour une évaluation sur des locuteurs réservés, l’entreprise indique que le réglage a fait passer le taux d’erreur de mots de 22,44 % à 12,17 %, par rapport à une référence utilisant la meilleure instruction. Elle rapporte également une légère hausse du taux d’erreur sur LibriSpeech test-clean, de 1,54 % à 1,69 %. Il s’agit d’un résultat pour ce jeu de données, cette recette et ce protocole, et non d’une garantie d’amélioration dans d’autres spécialités ou sur d’autres données.

Évaluer son intérêt pour une application

Pour les réunions, la dictée ou l’analyse d’enregistrements, la combinaison de la transcription, de la traduction et des horodatages peut réduire le besoin d’enchaîner plusieurs composants. L’attribution des locuteurs peut aussi faciliter la vérification de qui a dit quoi. Il faut toutefois la confronter à l’audio lorsque l’identification d’un locuteur erroné pourrait avoir des conséquences importantes.

Une évaluation représentative devrait inclure les langues et accents réellement utilisés, le bruit de fond, les chevauchements de voix et les termes rares. Il est utile de mesurer séparément les erreurs portant sur les noms, les chiffres et le vocabulaire spécialisé, en plus de la moyenne générale. Si l’identification des locuteurs est nécessaire, il faut également évaluer les changements de voix et les interventions simultanées, pas seulement la transcription d’une conversation claire.

La disponibilité des poids et des outils de réglage offre des possibilités de déploiement et d’adaptation, mais les sources consultées ne permettent pas de déduire le coût total, la latence ou les besoins matériels pour toutes les configurations. Ces facteurs dépendent du checkpoint, de la quantification, du serveur et de la charge. Une décision d’adoption devrait s’appuyer sur un test propre à l’application, réalisé dans le respect de la licence et des conditions de traitement des données.

Ce que les éléments disponibles ne permettent pas de conclure

Les sources consultées décrivent l’annonce de NVIDIA, le rapport technique de ses auteurs et les chiffres publiés par l’entreprise. Elles ne permettent pas d’affirmer que ces résultats ont fait l’objet d’une réplication indépendante ni que les classements restent les mêmes avec toutes les versions, charges ou configurations. Le rapport technique est une documentation originale de NVIDIA ; les informations disponibles ne suffisent pas à établir qu’il a été évalué par les pairs.

Il ne faut pas non plus déduire que le manifeste de Granary v2 constitue l’ensemble des données d’entraînement du modèle, ni que chaque langue offre la même qualité pour toutes les tâches. La publication elle-même distingue la couverture selon la fonction et précise que le manifeste public concerne le jeu de données et son pipeline.

En résumé, Nemotron 3.5 Transcribe est un modèle à poids ouverts destiné au traitement d’enregistrements, qui réunit plusieurs tâches vocales et propose des options d’adaptation. Son intérêt concret dépend de la combinaison de langues, du format attendu et des conditions acoustiques. Les benchmarks publiés fournissent un point de départ ; pour déterminer si le modèle convient, l’étape déterminante est une évaluation sur des données représentatives, accompagnée d’une vérification humaine des erreurs importantes.

Poursuivre l’exploration

Corrections et transparence

Si vous repérez une information incorrecte ou obsolète, envoyez-nous la page et la source à vérifier.