Un modelo para convertir grabaciones en distintos tipos de texto
NVIDIA presentó Nemotron 3.5 Transcribe como un modelo de pesos abiertos para trabajar con audio grabado. Puede generar transcripciones con distintos estilos, atribuir segmentos a hablantes, traducir voz y responder preguntas sobre el contenido del audio. La publicación técnica describe grabaciones de hasta una hora y la posibilidad de solicitar marcas de tiempo por palabra con atribución de hablante.
La propuesta no se limita a producir una única transcripción literal. Una instrucción en lenguaje natural puede orientar la forma de salida: por ejemplo, conservar las vacilaciones, normalizar números o utilizar términos de un dominio. Eso permite ajustar el resultado a una tarea sin volver a entrenar el modelo, aunque no garantiza que siga siempre la convención solicitada ni que interprete correctamente cada palabra.
El alcance lingüístico depende de la tarea. NVIDIA declara transcripción en 40 idiomas y traducción en 31 idiomas hacia o desde el inglés; la atribución de hablantes se describe para 13 idiomas. Por tanto, que un idioma aparezca entre los admitidos para una función no significa que todas las demás funciones estén disponibles con la misma cobertura.
Funciones y alcance declarado
Las cifras y capacidades de esta tabla describen lo que NVIDIA publica para el modelo; no constituyen una garantía de resultados en una grabación concreta.
| Función | Alcance publicado | Qué conviene comprobar |
|---|---|---|
| Transcripción | 40 idiomas; grabaciones de hasta una hora | Calidad en el idioma, acento, ruido y vocabulario de uso |
| Traducción | 31 idiomas hacia o desde el inglés | Dirección de traducción y desempeño para la pareja lingüística concreta |
| Atribución de hablantes | 13 idiomas; hasta ocho hablantes según la publicación de NVIDIA en Hugging Face | Errores al separar voces, especialmente con solapamientos |
| Marcas de tiempo | Marcas por palabra disponibles bajo solicitud | Alineación con el audio y precisión temporal necesaria para la aplicación |
Qué modelo se publicó y qué significa que tenga pesos abiertos
El informe técnico describe una arquitectura que combina un codificador de voz, un modelo congelado de diarización y un modelo de lenguaje Nemotron 3.5 Lightning 30B-A3B. NVIDIA cifra en aproximadamente 4.300 millones los parámetros activos. Esta cifra no significa que el modelo completo tenga solo 4.300 millones de parámetros: el nombre del checkpoint y la descripción técnica hacen referencia a una configuración de 30.000 millones, con una parte activa por token.
NVIDIA indica que publica los pesos bajo la licencia OpenMDW-1.1 y ofrece checkpoints en varios formatos, además de herramientas de ajuste fino en NeMo Speech. «Pesos abiertos» describe el acceso a los pesos, pero no equivale por sí solo a ausencia de condiciones. Antes de integrar el modelo en un producto, los equipos deben consultar la licencia y los términos aplicables a los pesos, los datos y las herramientas que utilicen.
La publicación técnica presenta el sistema para audio grabado y la publicación de NVIDIA en Hugging Face dice expresamente que no está construido para transcripción en directo. Por ello, no conviene atribuir a este modelo la capacidad de transcribir audio mientras llega. Esa distinción importa al elegir entre procesar una grabación terminada y desarrollar una experiencia de voz interactiva.
Granary v2: datos y herramientas para adaptar el reconocimiento
Junto al modelo, NVIDIA presentó Granary v2, un conjunto de datos y una canalización de curación para preparar ejemplos de voz y transcripciones. La publicación de NVIDIA describe un manifiesto público de 463.062 horas, procedente de 16 corpus y con cobertura de 48 idiomas. Esas cifras corresponden al manifiesto del conjunto publicado, no a la mezcla completa de entrenamiento de Nemotron 3.5 Transcribe.
La canalización produce variantes de transcripción, etiquetas de tareas y metadatos de calidad. Entre las variantes descritas están la transcripción verbal normalizada, la forma con números escritos de manera convencional y una versión que elimina disfluencias. La publicación también presenta procesos para generar subtítulos breves, términos de contexto, traducciones y pares de preguntas y respuestas vinculados al audio.
NVIDIA propone combinar esos recursos con NeMo Speech para adaptar el reconocimiento a vocabulario, acentos y convenciones de escritura propios de un ámbito. El ajuste puede ser útil cuando una aplicación depende de nombres de productos, términos médicos o formatos específicos. No elimina la necesidad de contar con datos representativos y etiquetas correctas: un ajuste sobre ejemplos sesgados puede no reflejar el habla ni las condiciones de uso reales.
Un flujo práctico para evaluar una adaptación
La publicación técnica describe recetas de adaptación y un estudio de caso médico. Este proceso resume una manera prudente de llevar esa idea a un caso propio, sin asumir que los resultados del estudio se repetirán.
- 01Defina la salida que necesita: idioma, escritura, tratamiento de números, disfluencias y términos especializados.
- 02Establezca una referencia con grabaciones representativas y transcripciones revisadas; separe los hablantes usados para ajustar la configuración de los reservados para evaluar.
- 03Pruebe primero instrucciones y listas de contexto. Compruebe que los términos sugeridos están respaldados por el audio, en vez de aceptar una palabra solo porque aparece en la lista.
- 04Si persisten errores relevantes, evalúe un ajuste con ejemplos representativos y etiquetas verificadas.
- 05Compare el modelo adaptado con la versión inicial en hablantes y grabaciones no usados para el ajuste, y revise tanto los errores de dominio como la retención en habla general.
Qué respaldan los resultados publicados
NVIDIA comunica resultados favorables en varios benchmarks de reconocimiento y atribución de hablantes, incluidos conjuntos de evaluación públicos. El informe técnico señala medias de error de palabras de 4,71 % en nueve conjuntos del Open ASR Leaderboard en inglés y de 4,62 % en la evaluación multilingüe. La publicación de NVIDIA en Hugging Face presenta además resultados de otras comparaciones y métricas, con cifras que dependen del benchmark y de su configuración.
Estas cifras no son una medida universal de exactitud. La tasa de error de palabras depende de las grabaciones evaluadas, el idioma, el formato de referencia y las reglas de normalización. Los puestos en una clasificación tampoco demuestran que el modelo vaya a superar a otro sistema en cada acento, sala, micrófono o tipo de conversación. Los resultados citados son presentados por NVIDIA; las fuentes consultadas no aportan una evaluación independiente que permita confirmar de forma general las comparaciones del fabricante.
El estudio de adaptación médica publicado por NVIDIA ofrece un ejemplo acotado. En una evaluación con hablantes reservados, la compañía comunica que el ajuste redujo la tasa de error de palabras de 22,44 % a 12,17 %, frente a una línea de base con la mejor instrucción. También informa de un pequeño aumento de error en LibriSpeech test-clean, de 1,54 % a 1,69 %. Es un resultado de ese conjunto, esa receta y ese protocolo, no una garantía de mejora para otras especialidades o datos.
Cómo leer las cifras de rendimiento
Una cifra de benchmark es interpretable junto con su conjunto de prueba y sus reglas. La fuente primaria consultada reporta los resultados; no ofrece por sí sola una garantía para otros usos.
| Dato publicado | Qué mide o describe | Límite de interpretación |
|---|---|---|
| 4,71 % de WER | Media comunicada por NVIDIA en nueve conjuntos del benchmark en inglés | No predice el error en cada grabación ni en todos los idiomas |
| 4,62 % de WER | Media comunicada por NVIDIA para su evaluación multilingüe | La cobertura y el resultado varían según los idiomas y conjuntos incluidos |
| 12,17 % frente a 22,44 % de WER | Resultado comunicado para hablantes reservados en un caso de adaptación médica | Depende del corpus, la selección de instrucciones y el procedimiento de ajuste |
| 1,54 % frente a 1,69 % de WER | Resultado comunicado en LibriSpeech test-clean antes y después de la adaptación médica | Muestra que una mejora en un dominio puede coexistir con un cambio en habla general |
Cómo valorar su utilidad en una aplicación
Para reuniones, dictado o análisis de grabaciones, la combinación de transcripción, traducción y marcas de tiempo puede reducir la necesidad de encadenar varios componentes. La atribución de hablantes también puede facilitar la revisión de quién dijo qué, pero es una salida que debe contrastarse con el audio cuando una identificación errónea tenga consecuencias importantes.
Una prueba representativa debería incluir los idiomas y acentos que realmente se utilizan, ruido de fondo, solapamiento de voces y términos poco frecuentes. Conviene medir por separado errores en nombres, cifras y palabras de dominio, además del promedio general. Si se requiere identificar hablantes, hay que evaluar también los cambios de voz y las intervenciones simultáneas, no solo la transcripción de una conversación clara.
La disponibilidad de pesos y herramientas de ajuste ofrece opciones de despliegue y adaptación, pero la fuente consultada no permite deducir el coste total, la latencia o los requisitos de hardware para cualquier configuración. Esos factores dependen del checkpoint, la cuantización, el servidor y la carga. Una decisión de adopción debe apoyarse en una prueba propia que respete la licencia y las condiciones de tratamiento de los datos.
Lo que queda fuera de las conclusiones disponibles
Las fuentes consultadas describen el anuncio de NVIDIA, el informe técnico de sus autores y las cifras publicadas por la compañía. No permiten afirmar que exista replicación independiente de esos resultados ni que las posiciones de benchmark se mantengan en todas las versiones, cargas o configuraciones. El informe técnico es documentación original de NVIDIA; la información disponible no basta para atribuirle revisión por pares.
Tampoco se debe inferir que el manifiesto de Granary v2 constituye todo el material de entrenamiento del modelo, ni que cada idioma tenga la misma calidad en todas las tareas. La propia publicación distingue la cobertura por función y explica que el manifiesto público se refiere al conjunto de datos y su canalización.
En síntesis, Nemotron 3.5 Transcribe aporta un modelo de pesos abiertos orientado a procesar grabaciones con varias tareas de voz y opciones de adaptación. Su valor práctico depende de la combinación concreta de idioma, formato y condiciones acústicas. Para decidir si encaja, los benchmarks publicados sirven como punto de partida; la comprobación decisiva es una evaluación propia con datos representativos y revisión humana de los errores relevantes.
Qué sigue abierto
- Las fuentes consultadas no aportan una evaluación independiente que confirme de forma general las comparaciones de rendimiento comunicadas por NVIDIA.
- La documentación disponible no establece resultados, latencia ni cobertura equivalente para cada combinación de idioma y tarea.
- El rendimiento y los requisitos de despliegue dependen del checkpoint, la configuración y las condiciones de uso.
Continúa explorando
Fuentes consultadas
Correcciones y transparencia
Si detectas un dato incorrecto o desactualizado, puedes enviarnos una corrección indicando la página y la fuente que debemos revisar.
Proponer una corrección