Hy-SimulMT dolmetscht Chinesisch und Englisch, während gesprochen wird, auf einer 48-GB-Karte

Fünfeinhalb Sekunden nach Beginn eines chinesischen Clips kamen die ersten englischen Wörter zurück: "The United Nations also". Der Sprecher redete noch. Das ist Hy-SimulMT, das offene Modell von Tencent Hunyuan zum Live-Dolmetschen zwischen Chinesisch und Englisch. Wir haben es auf einer RTX 6000 Ada mit 48 GB in unserer Cloud betrieben. Die ersten Wörter kamen 2,3 bis 5,5 Sekunden nach Beginn jedes Clips. Im ersten chinesischen Clip, dem einzigen, den wir Satz für Satz gemessen haben, war jeder Satz spätestens etwa 2 Sekunden nach der Sprecher fertig. Wenn du eigene GPUs betreibst, verlassen das Meeting-Audio und seine Übersetzung nie eine Karte, die dir gehört oder die du mietest. Es belegte 38 GB der Karte, und ein Klon der Sprecherstimme füllte den Rest. Zwei Grenzen: Einer unserer zwei englischen Clips verlor zwei seiner sechs Sätze, und unsere API nimmt aufgenommene Dateien an, die in Sprechgeschwindigkeit abgespielt werden, noch kein Live-Mikrofon.

Ein Dolmetscher in einem Modell, nicht Transkription und Übersetzung hintereinander

Hy-SimulMT hört zu und übersetzt im selben Modell, also kann es mit der Übersetzung anfangen, bevor der Satz zu Ende ist. Der übliche Weg, Sprache zu übersetzen, ist eine Staffel. Ein Programm schreibt auf, was gesagt wurde, dann übersetzt ein zweites den fertigen Text. Wie eine Gerichtsstenografin, die Seiten an einen Übersetzer im Nebenraum weiterreicht. Der Übersetzer kann erst anfangen, wenn eine Seite fertig ist, also wächst die Verzögerung mit jedem langen Satz.

Hy-SimulMT arbeitet stattdessen wie die Person in der Dolmetscherkabine auf einer Konferenz. Es hört ein Stück Sprache, entscheidet, ob es genug hat, um etwas zu sagen, und sagt es. Ein kleiner Dienst derselben Autoren, SimulInfer, füttert es mit Audio in Stücken von 1,6 Sekunden und setzt die Teile zusammen.

Tencent Hunyuan hat es am 26. Oktober veröffentlicht, unter Apache-2.0, was kommerzielle Nutzung erlaubt, und jeder kann es ohne Anfrage herunterladen. Es ist ein 30B-Modell, bei dem pro Wort nur etwa 3B Parameter arbeiten. Stell dir ein großes Team von Fachleuten vor, bei dem jedes Wort eine Handvoll fragt und der Rest wartet. Das hält es schnell, aber die Karte muss trotzdem das ganze Team halten.

Wir haben eine komprimierte Version mit 32 GB getestet, die neben der Übersetzung auch die Originalsprache mitschreibt. Die anderen Builds stehen im Anhang.

Zwei Grenzen vorab. Es kann nur Chinesisch nach Englisch und Englisch nach Chinesisch. Die Download-Seite listet 40 Sprachen, aber ihr Text und die offizielle Software unterstützen nur diese zwei Richtungen. SimulInfer lehnt jede andere Richtung mit einem Fehler ab. Und es spricht nicht von selbst: Für gesprochene Ausgabe braucht es ein zweites Modell, Qwen3-TTS, das als eigener Dienst daneben läuft.

Die Autoren versprechen Verzögerung und Qualität auf Dolmetscherniveau, ihre Tests haben wir nicht wiederholt

Die Hauptaussage der Autoren betrifft die Verzögerung. Bei langen aufgezeichneten Vorträgen aus einem öffentlichen Test lag es nach ihrer Messung etwa 3 Sekunden hinter dem Sprecher. Das war der niedrigste Wert aller Systeme in ihrem Vergleich, zu dem auch kommerzielle Live-Übersetzungsdienste gehören. Auf FLEURS, einem öffentlichen Set kurzer vorgelesener Clips, liegt sein Qualitätswert zwischen den Live-Übersetzern von Google und Alibaba: 90,3, gegenüber 92,4 und 88,4. Auf drei anderen Tests mit kurzen Clips liegt es einmal vorn und zweimal hinter Google oder Alibaba.

Sie haben es auch mit sechs professionellen Dolmetschern verglichen, auf 18 chinesischen und englischen Aufnahmen von je etwa sechs Minuten. Laut ihrer Modellseite war die Qualität auf dem Niveau der Profis, oft mit weniger Verzögerung, und nur für diese Stichproben. Aufgefallen ist uns das Modell im News-Video von AI Search vom 1. November. Das Video sagt, es schlage menschliche Dolmetscher, was mehr ist, als die Autoren behaupten. Wir halten uns an die Autoren.

Unser Test: eine Karte, vier vorgelesene Clips, in Sprechgeschwindigkeit abgespielt

Drei Fragen: Läuft es auf einer Karte mit 48 GB, wie weit hängt es hinterher, und was kostet die Stimme? Wir haben eine RTX 6000 Ada in unserer Cloud verwendet.

Das Audio stammt aus FLEURS, einem öffentlichen Set vorgelesener Sätze im Stil von Wikipedia, mit menschlichen Übersetzungen. Wir haben vier Clips von 50 bis 56 Sekunden gebaut, zwei auf Chinesisch und zwei auf Englisch, jeder fünf oder sechs Sätze lang. Jeden Clip haben wir in Stücken von einer Zehntelsekunde in normaler Sprechgeschwindigkeit an den Dienst gestreamt, so wie es ein Mikrofon tun würde. Dann haben wir protokolliert, wann jedes Stück Übersetzung zurückkam.

Die Grenzen: vier vorgelesene Clips, je ein Lauf plus ein paar Wiederholungen, eine Sitzung gleichzeitig. Lange Vorträge, freie Rede, Akzente und laute Räume haben wir nicht getestet. Der Test zeigt, ob das Modell mithält und ungefähr wie gut es übersetzt. Ein Benchmark ist er nicht, und niemand hat jemandem ins Wort geredet.

Es hielt Schritt: erste Wörter nach 2 bis 5,5 Sekunden

Jeder Satz des ersten chinesischen Clips war 0 bis 2 Sekunden, nachdem der Sprecher ihn beendet hatte, fertig übersetzt. Der erste Satz endete bei 10,9 Sekunden, und seine Übersetzung war schon bei 10,5 vollständig. Unter der Haube gibt der Dienst dem Modell jeweils ein neues Audiostück von 1,6 Sekunden. Ein typisches Stück wurde in allen vier Clips 0,4 bis 0,8 Sekunden nach seinem Ende beantwortet. Eines von zehn Stücken brauchte 1,5 Sekunden oder mehr, das langsamste 2,9.

Die ersten Wörter dauern ein paar Sekunden, weil das Modell wartet, bis es etwas hat, das sich zu sagen lohnt.

Wenn du es nicht live brauchst, gibt es einen schnelleren Modus. Als ganze Datei hochgeladen, kamen 50 bis 56 Sekunden Sprache in etwa 26 Sekunden übersetzt zurück, ungefähr doppelt so schnell wie die Abspieldauer.

Chinesisch nach Englisch hielt, Englisch nach Chinesisch ließ Sätze weg

Die Geschwindigkeit war in beiden Richtungen gleich, die Genauigkeit nicht. Wir haben bewertet, wie genau der Wortlaut jeder Ausgabe menschlichen Übersetzungen entsprach, von 0 bis 100. Als Anhaltspunkt: Eine kleinere Version, die wir weiter unten testen, übersetzte jeden Satz des ersten chinesischen Clips richtig und kam auf 66. Die chinesischen Clips kamen ins Englische auf 60,6 und 51,7, die englischen Clips ins Chinesische auf 42,2 und 23,4.

Der Clip mit 23,4 verlor zwei seiner sechs Sätze. Ein Satz, über Binnenwasserstraßen als Reisethema, kam gar nicht heraus. Wir haben diesen Clip separat noch einmal laufen lassen, und er fiel wieder weg. Ein anderer Satz, über einen olympischen Schwimmer, schrumpfte auf fünf chinesische Schriftzeichen, die "der Medaillengewinner war" bedeuten. Ein dritter Satz drehte seine Bedeutung um: Gesagt wurde "couldn't have included", und die Übersetzung sagt "could include". Der Dienst markierte diesen Lauf als unvollständig. Im anderen englischen Clip ließ der Hauptlauf einen Satz über Eisenschienen im Jahr 1767 weg.

Diese umgedrehte Verneinung ist die Art Fehler, die ein Zuhörer nicht bemerken kann. Ein weggelassener Satz hinterlässt eine Lücke, die dir vielleicht auffällt. Ein falsches "could" klingt völlig flüssig.

Wir wissen nicht, warum. Als ganze Datei hochgeladen, kam derselbe Clip ebenfalls als unvollständig markiert zurück, also ist das Live-Setup nicht die einzige Ursache. Englisch nach Chinesisch solltest du zuerst auf deinem eigenen Audio testen.

Der Stimmklon füllt die Karte, und er funktionierte nur Chinesisch nach Englisch

Der Stimmklon funktionierte in einer Richtung und blieb in der anderen hängen. Er kopiert die Stimme des Sprechers aus den ersten Sekunden seiner eigenen Rede und liest die Übersetzung damit vor. Eine Referenzaufnahme ist nicht nötig. Er läuft als zweites, kleines Modell auf derselben Karte, Qwen3-TTS-0.6B vom Qwen-Team von Alibaba.

Beim ersten chinesischen Clip kam die erste englische Sprache 8,7 Sekunden nach Beginn des Clips heraus. Insgesamt erzeugte er 33,7 Sekunden englisches Audio für 49,8 Sekunden Chinesisch. Die Textübersetzung hielt ihr Tempo, die Stimme hat den Übersetzer also nicht ausgebremst. Den Speicher hat sie aber genommen: Die belegte Menge auf der Karte stieg von 38 GB auf 48 GB, fast die ganze Karte.

Englisch nach Chinesisch mit eingeschalteter Stimme hat nie geantwortet. Das Audio endete, und danach kam über vier Minuten lang nichts zurück. Status: offen, nicht untersucht. In diesem unbeaufsichtigten Lauf hat sich auch niemand die geklonte Stimme angehört, also sagen wir nichts darüber, wie nah sie am Original klingt.

Welche GPU: Eine echte 48-GB-Karte ist die belegte Größe, 32 GB ist nicht belegt

Die kleinste Karte, die es bedient hat, ist eine echte Karte mit 48 GB. Zwei günstigere Varianten haben wir auf derselben 48-GB-Karte ausprobiert.

• Ein Budget von 32 GB, simuliert. Wir haben dem Server gesagt, nur 32 GB der 48 zu nutzen. Er startete, mit Platz für ein deutlich kürzeres Gespräch und einen Zuhörer gleichzeitig. Er übersetzte beide Testclips im selben Live-Tempo. Aber der Start belegt in jedem Lauf kurz die ganze Karte, bevor er sich einpendelt. Eine Speichergrenze verhindert das nicht, also kann eine echte 32-GB-Karte wie eine RTX 5090 beim Start scheitern.
• Der 4-Bit-Build, etwa 21 GB. Die 4-Bit-Datei der Autoren, ein Build nur für Übersetzung, lief mit 21 GB auf der 48-GB-Karte. Sie übersetzte jeden Satz beider Clips, die sie bekam, unter einer Minute Sprache in etwa 3 Sekunden, ohne das Laden des Modells. Der Haken: Sie braucht eine Vorabversion eines separaten Werkzeugs und übersetzt nur eine fertige Datei. Noch kann kein Server sie laden.

Nicht ausprobiert haben wir den vollen 61-GB-Build, eine echte Karte mit 32 GB oder 24 GB und mehrere Zuhörer gleichzeitig.

Auf InferenceKey: drei Dienste auf einer Karte, die du kontrollierst, bereit nach etwa 6 Minuten, nach einem Neustart nach 73 Sekunden

Eine 48-GB-Karte hielt den Übersetzer, seinen Streaming-Dienst und die Stimme. Auf unserer Plattform ist ein Worker eine GPU-Maschine, die dir gehört oder die du mietest und mit der Plattform verbindest. Dieses Modell braucht mehr als einen einfachen Modellserver, also haben wir Python-Code geschrieben, der es zusammen mit SimulInfer installiert und beides der Reihe nach startet.

Ab dem ersten Deployment auf einer frischen Maschine war der Modellserver nach etwa 6 Minuten bereit. Ein Neustart auf derselben Maschine war nach 73 Sekunden bereit.

Das Problem, auf das du zuerst stößt, wenn du den komprimierten Build selbst deployst: SimulInfer erkennt ihn nicht. Es kennt nur die vollen Builds beim Namen und bricht mit einer Fehlermeldung auf Chinesisch ab, die sagt, dass es das Ausgabeformat des Modells nicht erkennen kann. Unser Code schreibt die kleine Datei, die SimulInfer sucht. Status: in unserem Beispiel behoben, bei den Autoren zum Testzeitpunkt noch nicht.

Eine Grenze liegt bei uns. Unsere API nimmt eine hochgeladene Datei von bis zu etwa einer Minute an und spielt sie dem Modell in Sprechgeschwindigkeit vor. Die Zeitachse der Ankünfte kommt am Ende zurück. Ein Live-Mikrofon geht noch nicht über unsere API. Status: offen. Die anderen Probleme und alle Zeiten stehen im Anhang.

Für ein paar Gespräche pro Woche ist ein gehosteter Live-Übersetzungsdienst der kürzere Weg. Dieses Setup ist für Teams, die das Modell auf einer Karte haben wollen, die sie kontrollieren.

Solltest du es nutzen? Ja für Chinesisch nach Englisch auf deiner eigenen Karte, die andere Richtung erst testen

• Wenn du Chinesisch nach Englisch live brauchst, ist das eine starke offene Option. Für ein Live-Mikrofon verbindest du dich heute direkt mit SimulInfer auf der Karte.
• Wenn du Englisch nach Chinesisch brauchst, teste es auf deinem eigenen Audio, bevor sich jemand darauf verlässt.
• Wenn du auch die Stimme des Sprechers willst, plane vorerst eine volle 48-GB-Karte und nur die Richtung Chinesisch nach Englisch ein.
• Wenn du eine Karte mit 24 GB oder 32 GB hast: Der 4-Bit-Build brauchte 20,5 GB auf einer 48-GB-Karte, nur für aufgenommene Dateien. Auf einer echten 24-GB-Karte haben wir ihn nicht ausprobiert, und er braucht einen noch nicht gemergten llama.cpp-Build.
• Wenn du eine andere Sprache brauchst, ist das nicht dein Modell.

Führe python publish.py und dann python main.py aus dem Hy-SimulMT-SDK-Beispiel aus. Es deployt dasselbe Setup auf deiner GPU und spielt deine Clips in Sprechgeschwindigkeit ab, mit Ankunftszeiten pro Stück. Du brauchst ein InferenceKey-Projekt mit SDK-Token und API-Key. Bring einen privaten NVIDIA-Worker mit 48 GB und etwa 70 GB Festplatte mit. Die Setup-Schritte stehen im Anhang.

git clone https://github.com/inferencekey/inferencekey-sdk
cd inferencekey-sdk/examples/hy-simulmt-speech-translation-custom-backend-private-nvidia
cp .env.example .env        # SDK token, API key, IK_WORKER_ID, IK_CLIPS
pip install -r requirements.txt
python publish.py           # uploads the custom backend
python main.py              # ensure -> wait -> each clip in realtime -> outputs -> delete

git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT && cd Hy-SimulMT/SimulInfer
git checkout 7efcb18c   # the commit we tested
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave
# Ready: http://127.0.0.1:8080/   (model server on :8800)
curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav