Nemotron 3.5 Transcribe en una tarjeta de 32 GB: el prompt elige la transcripción, 3 minutos en 4,4 segundos

Pide a Nemotron 3.5 Transcribe etiquetas de hablante. Una consulta médica de tres minutos vuelve en 4,4 segundos de tiempo de GPU, separada en médico y paciente, con hora de inicio y de fin en cada una de sus 561 palabras. Pide una transcripción limpia y el mismo modelo quita los "um".

Ejecutamos el nuevo modelo de voz abierto de NVIDIA en una tarjeta gráfica Blackwell de 32 GB, con el software de código abierto que publica NVIDIA. Para quien tiene sus propias GPU, significa que un solo despliegue devuelve la transcripción que necesita cada equipo, elegida en cada petición. En 40 clips de prueba estándar falló el 6,82 % de las palabras, en la misma franja que los modelos con los que lo comparamos. Una porción de 24 GB de una tarjeta Blackwell más grande también lo ejecutó, entre cuatro y ocho veces más lento. Nuestro ejemplo del SDK lo despliega en tu propia GPU Blackwell.

Misma grabación, misma tarjeta, dos prompts. La versión limpia de la derecha añade etiquetas de hablante que nadie pidió.

Un solo modelo, y la instrucción decide qué transcripción recibes

Nemotron 3.5 Transcribe funciona más bien como un modelo de chat que escucha. Le mandas el audio y una frase de instrucción, y la instrucción elige la transcripción.

La página del modelo de NVIDIA enumera lo que puede pedir esa frase. Palabra por palabra, con cada muletilla. Limpia para leer. Etiquetada por hablante, con un tiempo para cada palabra. Traducida. También puede decir el idioma o responder a una pregunta sobre el audio. Cubre 40 idiomas y grabaciones de hasta una hora.

Para un equipo, es la diferencia entre mantener tres sistemas y mantener uno. Quien redacta informes médicos quiere la versión limpia, un equipo de cumplimiento normativo quiere cada "um" y una herramienta de reuniones quiere saber quién dijo qué. Sin esto, las etiquetas de hablante y la limpieza son pasos aparte que añades tú. Aquí se parece más a un estudio que graba una sola toma y la mezcla distinta para cada oyente: una copia cargada, una frase distinta en cada petición.

El modelo es grande para ser de voz. Tiene 34B parámetros en total, pero solo unos 4,3B trabajan en cada trozo de audio. Imagina un equipo grande de especialistas en el que cada palabra consulta a unos pocos mientras el resto espera. Por eso va rápido para su tamaño.

NVIDIA lo publicó el 28 de octubre en tres tamaños de fichero: 67,5 GB, 34,7 GB y 21,6 GB. El fichero más pequeño solo funciona en la generación más nueva de tarjetas de NVIDIA, Blackwell. NVIDIA dice que es casi igual de preciso: un 3,6 % más de errores que la versión más grande.

La licencia es OpenMDW-1.1. Permite usar, modificar y compartir el modelo sin restricciones, manteniendo el aviso. No pone condiciones a lo que hagas con las transcripciones. La página de NVIDIA dice claramente que se permite el uso comercial.

NVIDIA construyó el modelo y su receta abierta para servirlo, y proyectos de código abierto construyeron el motor sobre el que funciona. Lo vimos en el vídeo de noticias de AI Search del 1 de noviembre. Nosotros lo empaquetamos, lo ejecutamos en tarjetas que un equipo puede alquilar y contamos los errores. El apéndice reconoce el mérito de cada uno por su nombre.

Las cifras de NVIDIA son buenas, y la más rápida todavía no es abierta

En las pruebas de la propia NVIDIA, el modelo va por delante de los modelos de voz abiertos con los que se compara. En nueve conjuntos de prueba estándar en inglés falla de media el 4,71 % de las palabras, frente al 4,94 % de Qwen3-ASR-1.7B. En otros siete idiomas saca un 4,62 % frente al 6,49 % del mismo modelo de Qwen. Cuando la gente habla a la vez, falla o atribuye al hablante equivocado unas 16 palabras de cada 100 (15,80), frente a 16,83 de la comparación más fuerte que cita NVIDIA. Son ejecuciones de NVIDIA con la versión más grande, recogidas el 12 de octubre. No las reprodujimos.

La cifra de velocidad pide una lectura más atenta. La página de NVIDIA dice que una RTX PRO 6000 Blackwell de 96 GB transcribe hasta 2.238 segundos de audio (unos 37 minutos) por cada segundo. La página añade que esa cifra sale del motor empaquetado de la propia NVIDIA. Esas optimizaciones "are not yet part of the open-source release". La versión abierta publicada el día del lanzamiento "is expected to be roughly two times slower". Nosotros usamos la versión abierta, así que nuestras cifras salen de ese camino más lento.

Un límite más, también de la página de NVIDIA: es un modelo offline. Le das una grabación terminada y te devuelve una transcripción. No subtitula una llamada en directo mientras la gente habla.

La prueba: una RTX PRO 4500 Blackwell de 32 GB y el software abierto

¿Qué te da una tarjeta Blackwell de 32 GB con el software que cualquiera puede descargar? La página de NVIDIA cita la RTX 5090, una tarjeta para juegos de 32 GB, como compatible con el fichero pequeño. Ese día no había ninguna RTX 5090 disponible en nuestra nube. Usamos una RTX PRO 4500 Blackwell, una tarjeta de estación de trabajo con los mismos 32 GB y la misma generación de chip. Su memoria es más o menos la mitad de rápida que la de una 5090. No medimos una 5090.

Le dimos tres tipos de audio:

• los tres primeros minutos de una consulta de PriMock57, una visita médica simulada entre médico y paciente con transcripción humana
• cinco minutos de audio de conferencias de resultados, unidos a partir de 33 segmentos de un conjunto de prueba público
• los mismos 40 clips cortos en inglés de un benchmark público de reconocimiento de voz que usamos la semana pasada para comparar Underdog Bark y Qwen3-ASR.

Eso da una comparación directa con dos modelos que ya conocemos. Uno de ellos, Qwen3-ASR, es el modelo de voz que ya usamos para nuestras propias transcripciones. La muestra es pequeña: 924 palabras en clips, un fichero de tres minutos y otro de cinco, una petición cada vez.

Tres minutos de consulta médica en 4,4 segundos, con quién dijo qué y cuándo

Cada prompt de la tabla tardó menos de cinco segundos de GPU para tres minutos de audio, unas cuarenta veces más rápido de lo que dura la grabación.

Verbatim conservó las vacilaciones que necesita un equipo de cumplimiento normativo, y speakers separó los turnos. Los turnos coinciden con la referencia humana cuando las lees una al lado de la otra, pero lo comprobamos a ojo: puntuamos las palabras, no las etiquetas de hablante. Un cuarto prompt, "translate to Spanish", volvió en español tras 4,9 segundos de GPU. No lo puntuamos.

El fichero de cinco minutos de conferencias de resultados tardó 4,8 segundos de GPU, en una sola petición. Falló el 16,11 % de las palabras, pero la referencia unida tiene huecos donde se juntan los segmentos, así que solo cuenta la comparación: Bark sacó un 18,69 % en el mismo fichero en la prueba de la semana pasada, y Qwen3-ASR, con el montaje de la semana pasada, se paró a mitad.

En los 40 clips cortos, la cifra de precisión que sirve para comparar modelos, falló el 6,82 %. Bark 3.0 Pro sacó un 6,28 % y Qwen3-ASR-1.7B un 7,03 % en los mismos clips, puntuados igual. Así que Nemotron queda entre los dos, más cerca de Qwen. Esos dos funcionaron en otra tarjeta en la prueba de la semana pasada, así que las tasas de error se pueden comparar y las velocidades no.

Dónde falla: el prompt limpio etiqueta de más, y las reuniones son su peor conjunto

El prompt limpio es el que hay que probar antes de fiarse. Nuestra instrucción clean dice "omit fillers and accidental repetitions; keep the remaining spoken wording unchanged" y acaba con "Output: transcript only". No pide etiquetas. El modelo quitó todas las muletillas y además añadió 50 etiquetas de hablante en tres minutos. Dejó un arranque en falso, "Hello, how.", que un lector esperaría ver eliminado. Si tu flujo espera prosa sin más, quita las etiquetas o usa a propósito el prompt de hablantes.

En los 40 clips fue el mejor de los tres con voz de audiolibro: 0,94 % de fallos, frente al 1,88 % de Qwen3-ASR y el 2,35 % de Bark. AMI, reuniones de oficina grabadas con gente hablando a la vez, fue su peor conjunto con un 14,62 %, por detrás de Bark (11,54 %) y por delante de Qwen3-ASR (16,92 %). Una herramienta de reuniones debería probar con sus propias grabaciones antes de cambiar.

Qué GPU: una porción real de 24 GB funcionó, entre cuatro y ocho veces más lenta

El hardware más pequeño que funcionó fue una porción real de 24 GB de una tarjeta Blackwell. La tarjeta de 32 GB es la opción rápida, no el mínimo.

Esa porción sale de una RTX PRO 6000 Blackwell, una tarjeta de 96 GB que se puede dividir en trozos aislados. Cada trozo recibe 24 GB de memoria y la cuarta parte del cómputo de la tarjeta. En ella, la ejecución de tres minutos con hablantes tardó 35,3 segundos en lugar de 4,4. Es ocho veces más lento, y aun así unas cinco veces más rápido de lo que dura la grabación. Los clips cortos fueron unas cuatro veces más lentos, y el fichero de cinco minutos unas siete.

Los dos montajes que funcionaron:

En su modo rápido el modelo no entró en la porción de 24 GB. No probamos una tarjeta Blackwell completa de 24 GB, 16 GB, el fichero mediano en una tarjeta de 48 GB ni muchas peticiones a la vez.

En InferenceKey: una copia cargada responde a todos los estilos

Una sola copia en marcha en una tarjeta alquilada respondió a los cuatro estilos en la misma dirección, así que un estilo de transcripción nuevo cuesta una frase, no otro despliegue. A través de la plataforma, un reinicio estuvo listo en 88 segundos. Una máquina nueva estuvo lista en 217 segundos. Nuestro primerísimo arranque tardó unos seis minutos mientras se compilaba código de GPU que solo se compila una vez.

Hizo falta un backend propio, un fichero corto de Python que le dice a nuestra plataforma cómo instalar y ejecutar un modelo en cada máquina con GPU. Nuestra opción integrada instala solo el motor de servicio y no puede añadir el complemento de voz de NVIDIA, así que nuestro fichero construye los dos a partir de la receta de NVIDIA. Nuestro backend expone la ruta de voz estándar de OpenAI, /v1/audio/transcriptions. Nuestro despliegue de Qwen3-ASR responde en la misma ruta, así que la petición que un equipo ya envía mantiene su forma. Lo nuevo es el campo prompt.

Hay un límite con el que vas a toparte y que sigue abierto. Nuestra dirección de transcripción admite ficheros de hasta 2 MB, unos ocho minutos de voz comprimida. El modelo admite una hora de audio, así que de momento corta las grabaciones más largas o comprímelas mucho. Cada petición separa los hablantes por su cuenta, así que las etiquetas de hablante pueden no mantenerse entre trozos; no probamos grabaciones partidas.

¿Merece la pena usarlo? Sí para varios estilos de transcripción desde una tarjeta Blackwell

• Necesitas transcripciones distintas para equipos distintos. Un solo despliegue da texto literal, limpio, con etiquetas de hablante y traducido. Revisa la salida limpia por si trae etiquetas sueltas.
• Necesitas la menor tasa de error en clips en inglés. Está en la misma franja que Bark 3.0 Pro y Qwen3-ASR-1.7B en nuestra muestra, no por delante. Lo que gana es poder elegir la salida, no precisión pura.
• Tienes una tarjeta Blackwell de 32 GB. Va rápido. Una porción Blackwell de 24 GB también funciona, más lenta.
• Usas RTX 4090 o tarjetas más antiguas. El fichero pequeño no funcionará, necesita Blackwell. NVIDIA cita el fichero mediano en una L40S de 48 GB.
• Necesitas subtítulos en directo. Este modelo no, es solo offline.

Sigue el ejemplo del SDK de Nemotron 3.5 Transcribe para sacar las tres transcripciones de tu propia grabación en tu propia GPU Blackwell. Rellena .env, ejecuta python publish.py una vez y después python main.py. Necesita una tarjeta de 32 GB para los valores por defecto, unos 50 GB de disco y un fichero de audio de menos de 2 MB.

cp .env.example .env                # INFERENCEKEY_SDK_TOKEN, INFERENCEKEY_API_KEY,
                                    # INFERENCEKEY_PROJECT, IK_WORKER_ID, IK_AUDIO (< 2 MiB),
                                    # INFERENCEKEY_TENANT_ID, INFERENCEKEY_USER_TOKEN (for publish.py)
pip install inferencekey requests openai  # client side; requirements.txt is the backend's
python publish.py                   # once: packages dist/*.tar.gz and uploads it to your tenant;
                                    # without the two publish variables, upload that file from
                                    # Dashboard -> Custom backends
python main.py                      # ensure, wait, verbatim/clean/speakers on IK_AUDIO, delete

NEMOTRON_GPU_MEMORY_UTILIZATION=0.93
NEMOTRON_MAX_MODEL_LEN=16384
NEMOTRON_MAX_NUM_SEQS=2
NEMOTRON_MTP=0
NEMOTRON_ENFORCE_EAGER=1

from openai import OpenAI
client = OpenAI(base_url="https://cloud.inferencekey.com/endpoint/<project>/nemotron-transcribe/v1",
                api_key="ik_live_...")
out = client.audio.transcriptions.create(model="default", file=open("meeting.ogg", "rb"),
                                         prompt="speakers", timestamp_granularities=["word"])