Nemotron 3.5 Transcribe sur une carte de 32 GB : le prompt choisit la transcription, 3 minutes en 4,4 secondes

Demandez des étiquettes de locuteur à Nemotron 3.5 Transcribe. Une consultation médicale de trois minutes revient en 4,4 secondes de temps GPU, séparée entre médecin et patient, avec une heure de début et de fin sur chacun de ses 561 mots. Demandez une transcription propre, et le même modèle retire les "euh" à la place.

Nous avons fait tourner le nouveau modèle vocal ouvert de NVIDIA sur une seule carte graphique Blackwell de 32 GB, avec le logiciel open source que fournit NVIDIA. Pour qui fait tourner ses propres GPU, cela veut dire qu'un seul déploiement renvoie la transcription dont chaque équipe a besoin, choisie à chaque requête. Sur 40 clips de test standard, il s'est trompé sur 6,82 % des mots, dans la même fourchette que les modèles comparés. Une part de 24 GB d'une carte Blackwell plus grosse l'a aussi fait tourner, quatre à huit fois plus lentement. Notre exemple du SDK le déploie sur votre propre GPU Blackwell.

Même enregistrement, même carte, deux prompts. La version propre, à droite, ajoute des étiquettes de locuteur que personne n'a demandées.

Un seul modèle, et c'est l'instruction qui décide du type de transcription

Nemotron 3.5 Transcribe fonctionne plutôt comme un modèle de chat qui écoute. Vous envoyez l'audio avec une phrase d'instruction, et c'est l'instruction qui choisit la transcription.

La page du modèle de NVIDIA liste ce que cette phrase peut demander. Mot pour mot, avec chaque hésitation. Nettoyée pour la lecture. Étiquetée par locuteur, avec une heure pour chaque mot. Traduite. Il peut aussi identifier la langue ou répondre à une question sur l'audio. Il couvre 40 langues et des enregistrements jusqu'à une heure.

Pour une équipe, c'est la différence entre faire tourner trois systèmes et en faire tourner un seul. Un outil de prise de notes médicales veut la version propre, une équipe conformité veut chaque "euh", et un outil de réunion veut savoir qui a dit quoi. Sans lui, les étiquettes de locuteur et le nettoyage sont des étapes séparées que vous ajoutez vous-même. Ici, on se rapproche d'un studio qui enregistre une seule prise et la mixe différemment pour chaque auditeur : une seule copie chargée, une phrase différente dans chaque requête.

Le modèle est gros pour de la parole. Il a 34 milliards de paramètres au total, mais seuls environ 4,3 milliards travaillent sur chaque morceau d'audio. Imaginez une grande équipe de spécialistes où chaque mot en consulte une poignée pendant que les autres attendent. C'est pour cela qu'il est rapide pour sa taille.

NVIDIA l'a publié le 28 octobre en trois tailles de fichier : 67,5 GB, 34,7 GB et 21,6 GB. Le plus petit ne tourne que sur la génération de cartes la plus récente de NVIDIA, Blackwell. NVIDIA le dit presque aussi précis : 3,6 % d'erreurs en plus que la plus grande version.

La licence est OpenMDW-1.1. Elle permet d'utiliser, de modifier et de partager le modèle sans restriction, à condition de garder la notice. Elle n'impose aucune condition sur ce que vous faites des transcriptions. La page de NVIDIA dit clairement que l'usage commercial est autorisé.

NVIDIA a construit le modèle et sa recette de service ouverte, et des projets open source ont construit le moteur sur lequel il tourne. Nous l'avons repéré dans la vidéo d'actualité d'AI Search du 1er novembre. Nous l'avons empaqueté, fait tourner sur des cartes qu'une équipe peut louer, et nous avons compté les erreurs. L'annexe crédite chacun nommément.

Les chiffres de NVIDIA sont solides, et son chiffre le plus rapide n'est pas encore ouvert

Sur les tests de NVIDIA lui-même, le modèle devance les modèles vocaux ouverts auxquels il est comparé. Sur neuf jeux de test standard en anglais, il fait en moyenne 4,71 % de mots faux, contre 4,94 % pour Qwen3-ASR-1.7B. Dans sept autres langues, il obtient 4,62 % contre 6,49 % pour le même modèle Qwen. Quand les gens parlent en même temps, il se trompe sur environ 16 mots sur 100 ou les attribue au mauvais locuteur (15,80), contre 16,83 pour la meilleure comparaison que liste NVIDIA. Ce sont les exécutions de NVIDIA sur la plus grande version, relevées le 12 octobre. Nous ne les avons pas reproduites.

L'annonce de vitesse mérite une lecture plus attentive. La page de NVIDIA dit qu'une seule RTX PRO 6000 Blackwell de 96 GB transcrit jusqu'à 2 238 secondes (environ 37 minutes) d'audio par seconde. La page ajoute que ce chiffre vient du moteur packagé de NVIDIA. Ces optimisations "are not yet part of the open-source release". La version ouverte livrée le jour de la sortie "is expected to be roughly two times slower". Nous avons utilisé la version ouverte, donc nos chiffres viennent de ce chemin plus lent.

Une limite de plus, toujours d'après la page de NVIDIA : c'est un modèle hors ligne. Vous lui donnez un enregistrement terminé et vous récupérez une transcription. Il ne sous-titre pas un appel en direct pendant que les gens parlent.

Le test : une RTX PRO 4500 Blackwell de 32 GB et le logiciel ouvert

Que donne une carte Blackwell de 32 GB avec le logiciel que tout le monde peut télécharger ? La page de NVIDIA indique la RTX 5090, une carte gaming de 32 GB, comme compatible avec le petit fichier. Aucune RTX 5090 n'était disponible sur notre cloud ce jour-là. Nous avons utilisé une RTX PRO 4500 Blackwell, une carte de station de travail avec les mêmes 32 GB et la même génération de puce. Sa mémoire est environ deux fois moins rapide que celle d'une 5090. Nous n'avons pas mesuré de 5090.

Nous lui avons donné trois types d'audio :

• les trois premières minutes d'une consultation PriMock57, une consultation médecin-patient jouée, avec une transcription humaine
• cinq minutes d'audio de conférences sur les résultats financiers, assemblées à partir de 33 segments d'un jeu de test public
• les mêmes 40 clips courts en anglais, tirés d'un benchmark public de reconnaissance vocale, que nous avons utilisés pour comparer Underdog Bark et Qwen3-ASR la semaine dernière.

Cela donne une comparaison directe avec deux modèles que nous connaissons déjà. L'un d'eux, Qwen3-ASR, est le modèle vocal que nous utilisons déjà pour nos propres transcriptions. L'échantillon est petit : 924 mots de clips, un fichier de trois minutes et un de cinq minutes, une requête à la fois.

Trois minutes de consultation en 4,4 secondes, avec qui a dit quoi et quand

Chaque prompt du tableau a pris moins de cinq secondes de temps GPU pour trois minutes d'audio, environ quarante fois plus vite que la durée de l'enregistrement.

Verbatim a gardé les hésitations dont une équipe conformité a besoin, et speakers a séparé les tours de parole. Les tours correspondent à la référence humaine quand on les lit côte à côte, mais nous l'avons vérifié à l'œil : nous avons noté les mots, pas les étiquettes de locuteur. Un quatrième prompt, "translate to Spanish", est revenu en espagnol après 4,9 secondes sur le GPU. Nous ne l'avons pas noté.

Le fichier de cinq minutes de conférence financière a pris 4,8 secondes sur le GPU, en une seule requête. Il s'est trompé sur 16,11 % des mots, mais la référence assemblée a des trous là où les segments se rejoignent, donc seule la comparaison compte : Bark a obtenu 18,69 % sur le même fichier dans le test de la semaine dernière, et Qwen3-ASR, dans la configuration de la semaine dernière, s'est arrêté en cours de route.

Sur les 40 clips courts, le chiffre de précision qui se compare d'un modèle à l'autre, il s'est trompé sur 6,82 % des mots. Bark 3.0 Pro a obtenu 6,28 % et Qwen3-ASR-1.7B 7,03 % sur les mêmes clips, notés de la même façon. Nemotron se place donc entre les deux, plus près de Qwen. Ces deux-là ont tourné sur une autre carte dans le test de la semaine dernière, donc les taux d'erreur se comparent, les vitesses non.

Là où il dérape : le prompt clean étiquette trop, et les réunions sont son point faible

Le prompt clean est celui à tester avant de lui faire confiance. Notre instruction clean dit "omit fillers and accidental repetitions; keep the remaining spoken wording unchanged" et se termine par "Output: transcript only". Elle ne demande aucune étiquette. Le modèle a retiré toutes les hésitations et a aussi ajouté 50 étiquettes de locuteur en trois minutes. Il a laissé un faux départ, "Hello, how.", qu'un lecteur s'attendrait à voir disparaître. Si votre pipeline attend du texte brut, retirez les étiquettes ou utilisez volontairement le prompt speakers.

Sur les 40 clips, il a été le meilleur des trois sur la lecture de livres audio : 0,94 % de mots faux, contre 1,88 % pour Qwen3-ASR et 2,35 % pour Bark. AMI, des réunions de bureau enregistrées où les gens parlent en même temps, a été son jeu le plus faible avec 14,62 %, derrière Bark (11,54 %) et devant Qwen3-ASR (16,92 %). Un outil de réunion devrait vérifier ses propres enregistrements avant de changer.

Quel GPU : une vraie tranche de 24 GB a fonctionné, quatre à huit fois plus lentement

Le plus petit matériel qui a fonctionné est une vraie tranche de 24 GB d'une carte Blackwell. La carte de 32 GB est l'option rapide, pas le minimum.

Cette tranche vient d'une RTX PRO 6000 Blackwell, une carte de 96 GB qu'on peut découper en morceaux isolés. Chaque morceau reçoit 24 GB de mémoire et un quart de la puissance de calcul de la carte. Dessus, l'exécution speakers de trois minutes a pris 35,3 secondes au lieu de 4,4. C'est huit fois plus lent, et toujours environ cinq fois plus rapide que la durée de l'enregistrement. Les clips courts ont été environ quatre fois plus lents, le fichier de cinq minutes environ sept fois.

Les deux configurations qui ont fonctionné :

Dans son mode rapide, le modèle n'a pas tenu dans la tranche de 24 GB. Nous n'avons pas essayé une carte Blackwell complète de 24 GB, 16 GB, le fichier de taille moyenne sur une carte de 48 GB, ni de nombreuses requêtes à la fois.

Sur InferenceKey : une seule copie chargée répond à tous les styles

Une seule copie en marche sur une seule carte louée a répondu aux quatre styles à la même adresse, donc un nouveau style de transcription coûte une phrase, pas un déploiement de plus. À travers la plateforme, un redémarrage était prêt en 88 secondes. Une machine neuve était prête en 217 secondes. Notre tout premier démarrage a pris environ six minutes, le temps de compiler une fois pour toutes du code GPU.

Il a fallu un backend sur mesure, un court fichier Python qui indique à notre plateforme comment installer et lancer un modèle sur chaque machine GPU. Notre option intégrée installe le moteur de service seul et ne peut pas ajouter le module vocal de NVIDIA, donc notre fichier construit les deux à partir de la recette de NVIDIA. Notre backend expose la route vocale standard d'OpenAI, /v1/audio/transcriptions. Notre déploiement de Qwen3-ASR répond sur la même route, donc la requête qu'une équipe envoie déjà garde sa forme. La nouveauté, c'est le champ prompt.

Une limite que vous rencontrerez est encore ouverte. Notre adresse de transcription accepte des fichiers jusqu'à 2 MB, environ huit minutes de parole compressée. Le modèle accepte une heure d'audio, donc découpez les enregistrements plus longs pour l'instant, ou compressez-les fortement. Chaque requête est diarisée séparément, donc les étiquettes de locuteur peuvent ne pas se conserver d'un morceau à l'autre ; nous n'avons pas testé d'enregistrements découpés.

Faut-il l'utiliser ? Oui pour plusieurs styles de transcription depuis une carte Blackwell

• Vous avez besoin de transcriptions différentes pour différentes équipes. Un seul déploiement donne du texte verbatim, propre, étiqueté par locuteur et traduit. Vérifiez la sortie propre pour repérer les étiquettes parasites.
• Vous avez besoin du taux d'erreur le plus bas sur des clips en anglais. Il est dans la même fourchette que Bark 3.0 Pro et Qwen3-ASR-1.7B sur notre échantillon, pas devant. Son atout, c'est le choix de la sortie, pas la précision brute.
• Vous avez une carte Blackwell de 32 GB. Il tourne vite. Une tranche Blackwell de 24 GB tourne aussi, plus lentement.
• Vous utilisez des RTX 4090 ou des cartes plus anciennes. Le petit fichier ne tournera pas, il a besoin de Blackwell. NVIDIA indique le fichier de taille moyenne sur une L40S de 48 GB.
• Vous avez besoin de sous-titres en direct. Pas avec ce modèle, il fonctionne uniquement hors ligne.

Suivez l'exemple du SDK pour Nemotron 3.5 Transcribe pour obtenir les trois transcriptions de votre propre enregistrement sur votre propre GPU Blackwell. Remplissez .env, lancez python publish.py une fois puis python main.py. Il faut une carte de 32 GB pour les réglages par défaut, environ 50 GB de disque et un fichier audio de moins de 2 MB.

cp .env.example .env                # INFERENCEKEY_SDK_TOKEN, INFERENCEKEY_API_KEY,
                                    # INFERENCEKEY_PROJECT, IK_WORKER_ID, IK_AUDIO (< 2 MiB),
                                    # INFERENCEKEY_TENANT_ID, INFERENCEKEY_USER_TOKEN (for publish.py)
pip install inferencekey requests openai  # client side; requirements.txt is the backend's
python publish.py                   # once: packages dist/*.tar.gz and uploads it to your tenant;
                                    # without the two publish variables, upload that file from
                                    # Dashboard -> Custom backends
python main.py                      # ensure, wait, verbatim/clean/speakers on IK_AUDIO, delete

NEMOTRON_GPU_MEMORY_UTILIZATION=0.93
NEMOTRON_MAX_MODEL_LEN=16384
NEMOTRON_MAX_NUM_SEQS=2
NEMOTRON_MTP=0
NEMOTRON_ENFORCE_EAGER=1

from openai import OpenAI
client = OpenAI(base_url="https://cloud.inferencekey.com/endpoint/<project>/nemotron-transcribe/v1",
                api_key="ik_live_...")
out = client.audio.transcriptions.create(model="default", file=open("meeting.ogg", "rb"),
                                         prompt="speakers", timestamp_granularities=["word"])