Nemotron 3.5 Transcribe auf einer 32-GB-Karte: ein Prompt bestimmt das Transkript, 3 Minuten in 4,4 Sekunden

Bitte Nemotron 3.5 Transcribe um Sprecher-Tags. Ein dreiminütiger Arztbesuch kommt nach 4,4 Sekunden GPU-Zeit zurück, aufgeteilt in Arzt und Patient, mit Start- und Endzeit für jedes seiner 561 Wörter. Bitte um ein bereinigtes Transkript, und dasselbe Modell lässt stattdessen die "ähs" weg.

Wir haben NVIDIAs neues offenes Sprachmodell auf einer Blackwell-Grafikkarte mit 32 GB betrieben, mit der Open-Source-Software, die NVIDIA mitliefert. Für alle, die eigene GPUs betreiben, heißt das: Ein Deployment liefert jedem Team das Transkript, das es braucht, ausgewählt pro Anfrage. Auf 40 Standard-Testclips lag es bei 6,82 % falschen Wörtern, im selben Bereich wie die Modelle, mit denen wir es verglichen haben. Ein 24-GB-Anteil einer größeren Blackwell-Karte hat es ebenfalls ausgeführt, vier- bis achtmal langsamer. Unser SDK-Beispiel deployt es auf deiner eigenen Blackwell-GPU.

Dieselbe Aufnahme, dieselbe Karte, zwei Prompts. Die bereinigte Version rechts fügt Sprecher-Tags hinzu, um die niemand gebeten hat.

Ein Modell, und die Anweisung entscheidet, welches Transkript du bekommst

Nemotron 3.5 Transcribe funktioniert eher wie ein Chatmodell, das zuhört. Du schickst das Audio plus einen Satz als Anweisung, und die Anweisung wählt das Transkript.

NVIDIAs Modellseite listet auf, was dieser Satz verlangen kann. Wort für Wort, mit jedem Füllwort. Bereinigt zum Lesen. Nach Sprechern getaggt, mit einer Zeit für jedes Wort. Übersetzt. Es kann auch die Sprache nennen oder eine Frage zum Audio beantworten. Es deckt 40 Sprachen ab und Aufnahmen bis zu einer Stunde.

Für ein Team ist das der Unterschied zwischen drei Systemen und einem. Eine medizinische Dokumentation will die bereinigte Version, ein Compliance-Team will jedes "äh", und ein Meeting-Tool will wissen, wer was gesagt hat. Ohne dieses Modell sind Sprecherlabels und Bereinigung separate Schritte, die du selbst einbaust. Hier ist es eher wie ein Studio, das einen Take aufnimmt und ihn für jeden Hörer anders abmischt: eine geladene Kopie, ein anderer Satz in jeder Anfrage.

Für ein Sprachmodell ist es groß. Es hat insgesamt 34 Milliarden Parameter, aber nur etwa 4,3 Milliarden arbeiten an jedem Stück Audio. Stell dir ein großes Team von Spezialisten vor, bei dem jedes Wort eine Handvoll davon befragt, während der Rest wartet. Deshalb ist es für seine Größe schnell.

NVIDIA hat es am 28. Oktober in drei Dateigrößen veröffentlicht: 67,5 GB, 34,7 GB und 21,6 GB. Die kleinste Datei läuft nur auf NVIDIAs neuester Kartengeneration, Blackwell. Laut NVIDIA ist sie fast so genau: 3,6 % mehr Fehler als die größte Version.

Die Lizenz ist OpenMDW-1.1. Sie erlaubt, das Modell ohne Einschränkung zu nutzen, zu verändern und weiterzugeben, solange der Hinweis erhalten bleibt. Was du mit den Transkripten machst, ist an keine Bedingung geknüpft. NVIDIAs Seite sagt klar, dass kommerzielle Nutzung erlaubt ist.

NVIDIA hat das Modell und sein offenes Serving-Rezept gebaut, Open-Source-Projekte die Engine, auf der es läuft. Uns ist es im News-Video von AI Search vom 1. November aufgefallen. Wir haben es paketiert, auf Karten betrieben, die ein Team mieten kann, und die Fehler gezählt. Im Anhang nennen wir alle Beteiligten.

NVIDIAs Zahlen sind stark, und die schnellste Angabe ist noch nicht offen

In NVIDIAs eigenen Tests liegt das Modell vor den offenen Sprachmodellen, mit denen es verglichen wird. Auf neun englischen Standard-Testsets kommt es im Schnitt auf 4,71 % falsche Wörter, gegenüber 4,94 % bei Qwen3-ASR-1.7B. In sieben anderen Sprachen erreicht es 4,62 % gegenüber 6,49 % beim selben Qwen-Modell. Wenn Leute durcheinanderreden, sind etwa 16 von 100 Wörtern falsch oder dem falschen Sprecher zugeordnet (15,80), gegenüber 16,83 beim stärksten Vergleich, den NVIDIA aufführt. Das sind NVIDIAs Läufe der größten Version, erfasst am 12. Oktober. Wir haben sie nicht nachgemessen.

Die Geschwindigkeitsangabe muss man genauer lesen. NVIDIAs Seite sagt, eine RTX PRO 6000 Blackwell mit 96 GB transkribiert bis zu 2.238 Sekunden (etwa 37 Minuten) Audio pro Sekunde. Die Seite ergänzt, dass diese Zahl von NVIDIAs eigener paketierter Engine stammt. Diese Optimierungen "are not yet part of the open-source release". Die offene Version vom Veröffentlichungstag "is expected to be roughly two times slower". Wir haben die offene Version verwendet, unsere Zahlen kommen also von diesem langsameren Weg.

Noch eine Grenze, ebenfalls von NVIDIAs Seite: Das ist ein Offline-Modell. Du gibst ihm eine fertige Aufnahme und bekommst ein Transkript zurück. Es untertitelt kein laufendes Gespräch, während die Leute sprechen.

Der Test: eine RTX PRO 4500 Blackwell mit 32 GB und die offene Software

Was bringt dir eine Blackwell-Karte mit 32 GB mit der Software, die jeder herunterladen kann? NVIDIAs Seite führt die RTX 5090, eine Gaming-Karte mit 32 GB, als kompatibel mit der kleinen Datei. An dem Tag war in unserer Cloud keine RTX 5090 verfügbar. Wir haben eine RTX PRO 4500 Blackwell verwendet, eine Workstation-Karte mit denselben 32 GB und derselben Chipgeneration. Ihr Speicher ist etwa halb so schnell wie der einer 5090. Eine 5090 haben wir nicht gemessen.

Wir haben ihr drei Arten von Audio gegeben:

• die ersten drei Minuten einer PriMock57-Konsultation, ein nachgestellter Arztbesuch mit menschlichem Transkript
• fünf Minuten Audio aus Earnings Calls, zusammengesetzt aus 33 Segmenten eines öffentlichen Testsets
• dieselben 40 kurzen englischen Clips aus einem öffentlichen Spracherkennungs-Benchmark, mit denen wir letzte Woche Underdog Bark und Qwen3-ASR verglichen haben.

Das ergibt einen direkten Vergleich mit zwei Modellen, die wir schon kennen. Eines davon, Qwen3-ASR, ist das Sprachmodell, das wir bereits für unsere eigene Transkription betreiben. Die Stichprobe ist klein: 924 Wörter in Clips, eine Datei mit drei und eine mit fünf Minuten, eine Anfrage nach der anderen.

Drei Minuten Arztbesuch in 4,4 Sekunden, mit wer was wann gesagt hat

Jeder Prompt in der Tabelle brauchte für drei Minuten Audio weniger als fünf Sekunden GPU-Zeit, etwa vierzigmal schneller, als die Aufnahme läuft.

Verbatim behielt die Zögerlaute, die ein Compliance-Team braucht, und speakers trennte die Turns. Nebeneinander gelesen passen die Turns zur menschlichen Referenz, aber das haben wir nur mit dem Auge geprüft: Bewertet haben wir die Wörter, nicht die Sprecherlabels. Ein vierter Prompt, "translate to Spanish", kam nach 4,9 Sekunden auf der GPU auf Spanisch zurück. Bewertet haben wir das nicht.

Die fünfminütige Earnings-Call-Datei brauchte in einer Anfrage 4,8 Sekunden auf der GPU. 16,11 % der Wörter waren falsch, aber die zusammengesetzte Referenz hat Lücken an den Stellen, wo die Segmente aufeinandertreffen, also zählt nur der Vergleich: Bark kam im Test letzte Woche auf derselben Datei auf 18,69 %, und Qwen3-ASR hat in unserem Setup von letzter Woche mittendrin aufgehört.

Auf den 40 kurzen Clips, der Genauigkeitszahl, die sich zwischen Modellen vergleichen lässt, lag es bei 6,82 % Fehlern. Bark 3.0 Pro kam auf denselben Clips auf 6,28 % und Qwen3-ASR-1.7B auf 7,03 %, gleich bewertet. Nemotron liegt also dazwischen, näher an Qwen. Die beiden liefen im Test letzte Woche auf einer anderen Karte, also lassen sich die Fehlerraten vergleichen, die Geschwindigkeiten nicht.

Wo es patzt: der clean-Prompt taggt zu viel, und Meetings sind sein schwächstes Set

Den clean-Prompt solltest du testen, bevor du ihm vertraust. Unsere clean-Anweisung sagt "omit fillers and accidental repetitions; keep the remaining spoken wording unchanged" und endet mit "Output: transcript only". Tags verlangt sie nicht. Das Modell hat jedes Füllwort entfernt und zusätzlich 50 Sprecher-Tags in drei Minuten eingefügt. Einen Fehlstart, "Hello, how.", hat es stehen lassen, obwohl ein Leser ihn weg erwarten würde. Wenn deine Pipeline reinen Fließtext erwartet, entferne die Tags oder nutze bewusst den speakers-Prompt.

Auf den 40 Clips war es bei Hörbuch-Sprache das beste der drei: 0,94 % falsch, gegenüber 1,88 % bei Qwen3-ASR und 2,35 % bei Bark. AMI, aufgezeichnete Büromeetings, in denen Leute durcheinanderreden, war mit 14,62 % sein schwächstes Set, hinter Bark (11,54 %) und vor Qwen3-ASR (16,92 %). Ein Meeting-Tool sollte vor dem Wechsel seine eigenen Aufnahmen prüfen.

Welche GPU: ein echter 24-GB-Anteil hat funktioniert, vier- bis achtmal langsamer

Die kleinste Hardware, die funktioniert hat, war ein echter 24-GB-Anteil einer Blackwell-Karte. Die 32-GB-Karte ist die schnelle Option, nicht das Minimum.

Dieser Anteil stammt von einer RTX PRO 6000 Blackwell, einer Karte mit 96 GB, die sich in isolierte Stücke aufteilen lässt. Jedes Stück bekommt 24 GB Speicher und ein Viertel der Rechenleistung der Karte. Darauf brauchte der dreiminütige speakers-Lauf 35,3 Sekunden statt 4,4. Das ist achtmal langsamer und immer noch etwa fünfmal schneller, als die Aufnahme läuft. Kurze Clips waren etwa viermal langsamer, die fünfminütige Datei etwa siebenmal.

Die zwei Setups, die funktioniert haben:

Im schnellen Modus passte das Modell nicht in den 24-GB-Anteil. Nicht ausprobiert haben wir eine vollständige Blackwell-Karte mit 24 GB, 16 GB, die mittelgroße Datei auf einer 48-GB-Karte und viele Anfragen gleichzeitig.

Auf InferenceKey: eine geladene Kopie bedient jeden Stil

Eine laufende Kopie auf einer gemieteten Karte hat alle vier Stile unter derselben Adresse beantwortet, ein neuer Transkript-Stil kostet also einen Satz, kein weiteres Deployment. Über die Plattform war ein Neustart nach 88 Sekunden bereit. Eine frische Maschine war nach 217 Sekunden bereit. Unser allererster Start dauerte etwa sechs Minuten, während einmaliger GPU-Code gebaut wurde.

Es brauchte ein eigenes Backend, eine kurze Python-Datei, die unserer Plattform sagt, wie sie ein Modell auf jeder GPU-Maschine installiert und startet. Unsere eingebaute Option installiert nur die Serving-Engine und kann NVIDIAs Sprach-Add-on nicht hinzufügen, deshalb baut unsere Datei beides nach NVIDIAs Rezept. Unser Backend stellt die Standard-Sprachroute von OpenAI bereit, /v1/audio/transcriptions. Unser Qwen3-ASR-Deployment antwortet auf derselben Route, die Anfrage, die ein Team schon schickt, behält also ihre Form. Neu ist das Prompt-Feld.

Eine Grenze, auf die du stoßen wirst, ist noch offen. Unsere Transkriptionsadresse nimmt Dateien bis 2 MB an, etwa acht Minuten komprimierte Sprache. Das Modell nimmt eine Stunde Audio, also schneide längere Aufnahmen vorerst zu oder komprimiere sie stark. Jede Anfrage wird für sich diarisiert, Sprecherlabels bleiben über die Stücke hinweg also womöglich nicht gleich; geteilte Aufnahmen haben wir nicht getestet.

Solltest du es nutzen? Ja für mehrere Transkript-Stile von einer Blackwell-Karte

• Du brauchst verschiedene Transkripte für verschiedene Teams. Ein Deployment liefert wörtlichen, bereinigten, nach Sprechern getaggten und übersetzten Text. Prüfe die bereinigte Ausgabe auf verirrte Tags.
• Du brauchst die niedrigste Fehlerrate auf englischen Clips. Auf unserer Stichprobe liegt es im selben Bereich wie Bark 3.0 Pro und Qwen3-ASR-1.7B, nicht davor. Sein Gewinn ist die Wahl der Ausgabe, nicht die reine Genauigkeit.
• Du hast eine Blackwell-Karte mit 32 GB. Es läuft schnell. Ein 24-GB-Anteil einer Blackwell-Karte läuft auch, langsamer.
• Du betreibst RTX 4090 oder ältere Karten. Die kleine Datei läuft nicht, sie braucht Blackwell. NVIDIA führt die mittelgroße Datei auf einer L40S mit 48 GB.
• Du brauchst Live-Untertitel. Nicht mit diesem Modell, es ist nur offline.

Folge dem SDK-Beispiel für Nemotron 3.5 Transcribe, um die drei Transkripte deiner eigenen Aufnahme auf deiner eigenen Blackwell-GPU zu bekommen. Fülle .env aus, führe einmal python publish.py aus und dann python main.py. Für die Standardeinstellungen braucht es eine Karte mit 32 GB, etwa 50 GB Platte und eine Audiodatei unter 2 MB.

cp .env.example .env                # INFERENCEKEY_SDK_TOKEN, INFERENCEKEY_API_KEY,
                                    # INFERENCEKEY_PROJECT, IK_WORKER_ID, IK_AUDIO (< 2 MiB),
                                    # INFERENCEKEY_TENANT_ID, INFERENCEKEY_USER_TOKEN (for publish.py)
pip install inferencekey requests openai  # client side; requirements.txt is the backend's
python publish.py                   # once: packages dist/*.tar.gz and uploads it to your tenant;
                                    # without the two publish variables, upload that file from
                                    # Dashboard -> Custom backends
python main.py                      # ensure, wait, verbatim/clean/speakers on IK_AUDIO, delete

NEMOTRON_GPU_MEMORY_UTILIZATION=0.93
NEMOTRON_MAX_MODEL_LEN=16384
NEMOTRON_MAX_NUM_SEQS=2
NEMOTRON_MTP=0
NEMOTRON_ENFORCE_EAGER=1

from openai import OpenAI
client = OpenAI(base_url="https://cloud.inferencekey.com/endpoint/<project>/nemotron-transcribe/v1",
                api_key="ik_live_...")
out = client.audio.transcriptions.create(model="default", file=open("meeting.ogg", "rb"),
                                         prompt="speakers", timestamp_granularities=["word"])