Hy-SimulMT interprète le chinois et l'anglais pendant que l'orateur parle, sur une seule carte de 48 GB

Cinq secondes et demie après le début d'un clip en chinois, les premiers mots anglais sont arrivés : "The United Nations also". L'orateur parlait encore. C'est Hy-SimulMT, le modèle ouvert de Tencent Hunyuan pour l'interprétation en direct entre le chinois et l'anglais. Nous l'avons fait tourner sur une seule RTX 6000 Ada de 48 GB sur notre cloud. Les premiers mots sont arrivés 2,3 à 5,5 secondes après le début de chaque clip. Dans le premier clip chinois, le seul que nous avons chronométré phrase par phrase, chaque phrase était terminée environ 2 secondes au plus après l'orateur. Si vous faites tourner vos propres GPU, l'audio de la réunion et sa traduction ne quittent jamais une carte que vous possédez ou louez. Il a occupé 38 GB de la carte, et un clone de la voix de l'orateur a rempli le reste. Deux limites : l'un de nos deux clips anglais a perdu deux de ses six phrases, et notre API prend des fichiers enregistrés joués à la vitesse de la parole, pas encore un micro en direct.

Un interprète en un seul modèle, pas un transcripteur suivi d'un traducteur

Hy-SimulMT écoute et traduit dans le même modèle, il peut donc commencer la traduction avant la fin de la phrase. La façon habituelle de traduire la parole est un relais. Un programme note ce qui a été dit, puis un second traduit le texte terminé. C'est comme une sténographe de tribunal qui passe ses pages à un traducteur dans la pièce voisine. Le traducteur ne peut pas commencer avant qu'une page soit finie, et le retard grandit avec chaque phrase longue.

Hy-SimulMT fonctionne plutôt comme l'interprète en cabine lors d'une conférence. Il entend un morceau de parole, décide s'il en a assez pour dire quelque chose, et le dit. Un petit service des mêmes auteurs, SimulInfer, lui fournit l'audio par tranches de 1,6 seconde et recolle les morceaux.

Tencent Hunyuan l'a publié le 26 octobre sous Apache-2.0, une licence qui autorise l'usage commercial, et tout le monde peut le télécharger sans rien demander. C'est un modèle de 30B où environ 3B paramètres seulement travaillent sur chaque mot. Imaginez une grande équipe de spécialistes où chaque mot en consulte une poignée pendant que les autres attendent. Cela le garde rapide, mais la carte doit quand même contenir toute l'équipe.

Nous avons testé une version compressée de 32 GB qui écrit aussi la parole d'origine à côté de la traduction. Les autres versions sont dans l'annexe.

Deux limites d'emblée. Il ne fait que chinois vers anglais et anglais vers chinois. Sa page de téléchargement liste 40 langues, mais son texte et le logiciel officiel ne prennent en charge que ces deux sens. SimulInfer refuse tout autre sens avec une erreur. Et il ne parle pas tout seul : la sortie vocale demande un second modèle, Qwen3-TTS, qui tourne comme un service séparé à côté.

Les auteurs annoncent un retard et une qualité d'interprète, et nous n'avons pas refait leurs tests

L'annonce principale des auteurs porte sur le retard. Sur de longues conférences enregistrées d'un test public, il suivait l'orateur avec environ 3 secondes de retard selon leur mesure. C'était le plus faible de tous les systèmes de leur comparaison, qui inclut des services commerciaux de traduction en direct. Sur FLEURS, un ensemble public de courts clips lus, son score de qualité de traduction se situe entre ceux des traducteurs en direct de Google et d'Alibaba : 90,3, contre 92,4 et 88,4. Sur trois autres tests de clips courts, il est premier sur l'un et derrière celui de Google ou d'Alibaba sur les deux autres.

Ils l'ont aussi opposé à six interprètes professionnels sur 18 enregistrements en chinois et en anglais d'environ six minutes chacun. Leur page du modèle dit que la qualité était au niveau des experts, souvent avec moins de retard, et seulement pour ces échantillons. Nous avons repéré le modèle dans la vidéo d'actualité du 1er novembre d'AI Search. La vidéo dit qu'il bat les interprètes humains, ce qui va plus loin que ce que disent les auteurs. Nous nous en tenons aux auteurs.

Notre test : une carte, quatre clips lus, joués à la vitesse de la parole

Trois questions : tourne-t-il sur une seule carte de 48 GB, avec quel retard, et que coûte la voix ? Nous avons utilisé une RTX 6000 Ada sur notre cloud.

L'audio vient de FLEURS, un ensemble public de phrases de style Wikipédia lues à voix haute, avec des traductions humaines. Nous avons construit quatre clips de 50 à 56 secondes, deux en chinois et deux en anglais, de cinq ou six phrases chacun. Nous avons envoyé chaque clip au service par morceaux d'un dixième de seconde, à la vitesse normale de la parole, comme le ferait un micro. Puis nous avons noté l'heure d'arrivée de chaque morceau de traduction.

Les limites : quatre clips lus, une exécution chacun plus quelques répétitions, une session à la fois. Les longues conférences, la parole spontanée, les accents et les salles bruyantes n'ont pas été testés. Cela vous dit si le modèle suit le rythme et, en gros, s'il traduit bien. Ce n'est pas un benchmark, et personne ne parlait en même temps qu'un autre.

Il a suivi le rythme : premiers mots en 2 à 5,5 secondes

Chaque phrase du premier clip chinois était terminée 0 à 2 secondes après que l'orateur l'a finie. Sa première phrase se terminait à 10,9 secondes, et sa traduction était déjà complète à 10,5. Sous le capot, le service donne au modèle une nouvelle tranche d'audio de 1,6 seconde. Une tranche typique recevait sa réponse 0,4 à 0,8 seconde après sa fin, dans les quatre clips. Une tranche sur dix a pris 1,5 seconde ou plus, la plus lente 2,9.

Les premiers mots prennent quelques secondes parce que le modèle attend d'avoir quelque chose qui vaille la peine d'être dit.

Si vous n'avez pas besoin du direct, il existe un mode plus rapide. Envoyés en un seul fichier, 50 à 56 secondes de parole sont revenues traduites en 26 secondes environ, à peu près deux fois plus vite que leur durée de lecture.

Le chinois vers l'anglais a tenu, l'anglais vers le chinois a perdu des phrases

La vitesse était égale dans les deux sens, la précision non. Nous avons noté de 0 à 100 à quel point les mots de chaque sortie correspondaient aux traductions humaines. Comme repère, une version plus petite que nous testons plus bas a eu juste chaque phrase du premier clip chinois et a obtenu 66. Les clips chinois ont obtenu 60,6 et 51,7 vers l'anglais, et les clips anglais 42,2 et 23,4 vers le chinois.

Le clip à 23,4 a perdu deux de ses six phrases. Une phrase, sur les voies navigables intérieures comme thème de voyage, n'est jamais sortie. Nous avons relancé ce clip à part et elle a encore été supprimée. Une autre phrase, sur un nageur olympique, s'est réduite à cinq caractères chinois qui veulent dire "le médaillé était". Une troisième phrase a inversé son sens : l'orateur a dit "couldn't have included" et la traduction dit "could include". Le service a marqué cette exécution comme incomplète. Dans l'autre clip anglais, l'exécution principale a supprimé une phrase sur les rails en fer en 1767.

Cette négation inversée est le genre d'erreur qu'un auditeur ne peut pas repérer. Une phrase supprimée laisse un trou que vous remarquerez peut-être. Un "could" faux sonne parfaitement fluide.

Nous ne savons pas pourquoi. Envoyé en un seul fichier, le même clip est revenu marqué incomplet lui aussi, donc le montage en direct n'est pas la seule cause. Considérez l'anglais vers le chinois comme quelque chose à tester d'abord sur votre propre audio.

Le clone de voix remplit la carte, et n'a marché que du chinois vers l'anglais

Le clone de voix a marché dans un sens et s'est bloqué dans l'autre. Il copie la voix de l'orateur à partir des premières secondes de sa propre parole et lit la traduction à voix haute avec elle. Aucun enregistrement de référence n'est nécessaire. Il tourne comme un second petit modèle, Qwen3-TTS-0.6B de l'équipe Qwen d'Alibaba, sur la même carte.

Sur le premier clip chinois, la première parole anglaise est sortie 8,7 secondes après le début du clip. Au total, il a produit 33,7 secondes d'audio anglais pour 49,8 secondes de chinois. La traduction texte a gardé son rythme, donc la voix n'a pas ralenti le traducteur. Elle a en revanche pris la mémoire : la carte est passée de 38 GB à 48 GB utilisés, presque toute la carte.

L'anglais vers le chinois avec la voix activée n'a jamais répondu. L'audio s'est terminé, puis rien n'est revenu pendant plus de quatre minutes. Statut : ouvert, non étudié. Personne n'a non plus écouté la voix clonée dans cette exécution sans surveillance, donc nous n'affirmons rien sur sa ressemblance.

Quel GPU : une vraie carte de 48 GB est la taille prouvée, 32 GB n'est pas prouvé

La plus petite carte qui l'a servi est une vraie carte de 48 GB. Nous avons essayé deux options moins chères sur la même carte de 48 GB.

• Un budget de 32 GB, simulé. Nous avons demandé au serveur de n'utiliser que 32 GB sur les 48. Il a démarré, avec de la place pour une conversation bien plus courte et un seul auditeur à la fois. Il a traduit les deux clips de test au même rythme en direct. Mais le démarrage prend brièvement toute la carte, à chaque exécution, avant de se stabiliser. Une limite de mémoire n'empêche pas cela, donc une vraie carte de 32 GB comme une RTX 5090 risque d'échouer au démarrage.
• La version 4 bits, environ 21 GB. Le fichier 4 bits des auteurs, une version qui ne fait que traduire, a tourné en 21 GB sur la carte de 48 GB. Il a traduit chaque phrase des deux clips qu'il a reçus, moins d'une minute de parole en 3 secondes environ, sans compter le chargement du modèle. Le hic : il lui faut une version de prévisualisation d'un outil séparé, et il ne traduit qu'un fichier terminé. Aucun serveur ne peut encore le charger.

Nous n'avons pas essayé la version complète de 61 GB, une vraie carte de 32 GB ou de 24 GB, ni plusieurs auditeurs à la fois.

Sur InferenceKey : trois services sur une carte que vous contrôlez, prêts en 6 minutes environ, 73 secondes au redémarrage

Une seule carte de 48 GB a contenu le traducteur, son service de streaming et la voix. Sur notre plateforme, un worker est une machine GPU que vous possédez ou louez et que vous y connectez. Ce modèle demande plus qu'un simple serveur de modèle, alors nous avons écrit du code Python qui l'installe avec SimulInfer et les démarre dans l'ordre.

Depuis le premier déploiement sur une machine neuve, le serveur du modèle était prêt en 6 minutes environ. Un redémarrage sur la même machine était prêt en 73 secondes.

Le premier problème que vous rencontrerez si vous déployez vous-même la version compressée : SimulInfer ne la reconnaît pas. Il ne connaît les versions complètes que par leur nom, et s'arrête avec une erreur en chinois qui dit qu'il ne peut pas identifier le format de sortie du modèle. Notre code écrit le petit fichier que cherche SimulInfer. Statut : corrigé dans notre exemple, pas encore corrigé par les auteurs au moment de notre test.

Une limite vient de nous. Notre API prend un fichier envoyé d'une minute environ au maximum et le joue au modèle à la vitesse de la parole. La chronologie des arrivées revient à la fin. Un micro en direct ne peut pas encore passer par notre API. Statut : ouvert. Les autres problèmes et les temps complets sont dans l'annexe.

Pour quelques appels par semaine, un service hébergé de traduction en direct est le chemin le plus court. Ce montage s'adresse aux équipes qui veulent le modèle sur une carte qu'elles contrôlent.

Faut-il l'utiliser ? Oui pour le chinois vers l'anglais sur votre propre carte, testez d'abord l'autre sens

• Si vous avez besoin du chinois vers l'anglais en direct, c'est une option ouverte solide. Pour un micro en direct aujourd'hui, connectez-vous directement à SimulInfer sur la carte.
• Si vous avez besoin de l'anglais vers le chinois, testez-le sur votre propre audio avant que quiconque s'y fie.
• Si vous voulez aussi la voix de l'orateur, prévoyez une carte de 48 GB complète et le sens chinois vers anglais seulement, pour l'instant.
• Si vous avez une carte de 24 GB ou de 32 GB, la version 4 bits a utilisé 20,5 GB sur une carte de 48 GB, pour des fichiers enregistrés seulement. Nous ne l'avons pas essayée sur une vraie carte de 24 GB, et elle demande une version de llama.cpp non fusionnée.
• Si vous avez besoin d'une autre langue, ce n'est pas votre modèle.

Lancez python publish.py puis python main.py depuis l'exemple du SDK Hy-SimulMT. Il déploie le même montage sur votre GPU et rejoue vos clips à la vitesse de la parole, avec les heures d'arrivée par tranche. Il faut un projet InferenceKey avec un token du SDK et une clé d'API. Apportez un worker NVIDIA privé avec 48 GB et environ 70 GB de disque. Les étapes d'installation sont dans l'annexe.

git clone https://github.com/inferencekey/inferencekey-sdk
cd inferencekey-sdk/examples/hy-simulmt-speech-translation-custom-backend-private-nvidia
cp .env.example .env        # SDK token, API key, IK_WORKER_ID, IK_CLIPS
pip install -r requirements.txt
python publish.py           # uploads the custom backend
python main.py              # ensure -> wait -> each clip in realtime -> outputs -> delete

git clone https://github.com/Tencent-Hunyuan/Hy-SimulMT && cd Hy-SimulMT/SimulInfer
git checkout 7efcb18c   # the commit we tested
bash deploy.sh --install-server --model tencent/Hy-SimulMT-30B-A3B-Interleave
# Ready: http://127.0.0.1:8080/   (model server on :8800)
curl -N http://127.0.0.1:8080/translate/stream -F direction=en-zh -F file=@audio.wav