Ming-3.0-tts clone une voix avec environ 3 GB de mémoire GPU, mais parle plus lentement que le temps réel

Modèle et fichiers

Fiche du modèle, GitHub (inclusionAI/Ming-3.0-tts), benchmarks des auteurs. Dépôt inclusionAI/Ming-3.0-tts-0.5B, créé le 2026-09-22, lastModified 2026-10-27T12:07:15Z, sha 7247f4c94a5b2e987404ed28a5cfec41b1a4ca61, licence MIT, sans accès restreint, pipeline text-to-speech, 5 546 téléchargements et 156 likes le 2026-10-28.

• model.safetensors : 2 959 055 504 B. Métadonnées safetensors : 1 479 454 868 paramètres (1 479 454 804 en BF16 plus 64 en F32). campplus.onnx (encodeur de locuteur) : 28 303 423 B. Dépôt complet d'environ 3,0 GB, dont un PDF de 390 569 B (Ming-3.0-tts-0.5B-TDS2026.pdf) et des figures.
• Tableau de la fiche : dense, backbone Qwen2.5-0.5B, 0.5B paramètres. Le fichier de poids en stocke environ 1,48 milliard au total ; les auteurs ne détaillent pas où se trouve le reste. Aussi sur la fiche : langues zh, en, de, es, fr, ko, ja, dialectes sichuanais et cantonais, API Python ming_tts.MingTTS, CLI infer.py, 44,1 kHz.
• Les 14 balises : [Breathing], [Cough], [Sigh], [Laughter], [Surprise-ah], [Surprise-oh], [Dissatisfaction-hnn], [Uhm], [Confirmation-en], [Question-ei], [Question-ah], [Question-en], [Question-oh], [Question-huh]. Documentées pour du texte chinois ou anglais, sensibles à la casse, contournant la normalisation du texte (cookbooks/instruction_en.md, frontend/toolkit.py).
• Tâches : TTS, FREEFORM, VOICE_DESIGN, MULTILINGUAL, BASIC, EMOTION, DIALECT, IP.
• Déclaration matérielle : "Tested on NVIDIA H800-80GB and H20-96G with CUDA 12.4. flash-attn is optional; inference falls back to PyTorch SDPA." Aucun GPU plus petit et aucun chiffre de VRAM.
• Code au commit 9332fb9443325d4726ce02cefd4ec1c211df4079 (2026-10-27, "docs: align recommended voices, catalogs and examples"), le commit que fixe notre backend. Avant : 028c1eac (2026-10-21, correctif du découpage des textes longs), e999c39f (2026-10-19, "mark vLLM-Omni support"). requirements.txt fixe torch 2.6.0, torchaudio 2.6.0, transformers 4.46.3, accelerate 1.3.0, x_transformers 2.9.2, diffusers 0.33.0, soundfile 0.12.1, plus onnxruntime, inflect, einops. pynini 2.1.6 (normalisation du texte) et flash_attn 2.7.4.post1 sont optionnels. Une image Docker est proposée (torch 2.6, CUDA 12.4, transformers 4.46.3).
• MingTTS se charge en torch.bfloat16 (codé en dur) sur cuda:0. Valeurs par défaut de synthesize() : cfg=2.0, sigma=0.25, temperature=0.0, max_length=24 (découpage en fragments), max_decode_steps=1000. Le texte avec un language_id autre que zh/en contourne le normaliseur FST ("Non-zh/en text is passed through unchanged").
• Boucle de décodage (modeling_bailingmm.py) : une passe avant du LLM plus une tête de flow matching (FlowLoss.sample, 10 étapes par défaut, avec CFG) par pas, jusqu'à ce qu'une tête d'arrêt se déclenche. Le cache KV statique de 512 positions plafonne le budget à 512 moins la longueur du prompt. Le VAE audio utilise un hop de 882 à 44 100 Hz avec patch_size 4, donc un pas vaut 80 ms d'audio et le temps réel exige 12,5 pas/s. Nous avons mesuré environ 8,3 à 8,9 pas/s.
• Le modèle frère, Ming-3.0-tts-tiny, est un MoE sur Ling V3 (7.9B au total, 1.3B actifs), a besoin de son propre environnement (Python 3.10.15, torch 2.7.1+cu118), recommande une H800 et est le seul à faire du dialogue de podcast à plusieurs voix. Nous ne l'avons pas fait tourner.
• Classements revendiqués dans le README GitHub (Artificial Analysis, octobre 2026) : 1er des modèles ouverts en Controlled Voice (Elo 1069, 13e au général), 1er au général en Pronunciation Robustness (93,2 %), 3e des modèles ouverts en Provider Voice (Elo 1188, 17e au général). Le README ne dit pas s'ils concernent 0.5b ou tiny. Nous n'avons pas vérifié sur artificialanalysis.ai.

Benchmarks des auteurs (non reproduits par nous)

Limites selon les auteurs : la ressemblance du locuteur est plus faible que l'exactitude du contenu (le SIM en français est l'écart le plus net). NVBench Multi est en retrait par rapport à Single, donc la stabilité avec plusieurs balises par phrase est encore en progrès. L'émotion est plus difficile quand les mots ne portent aucun signal émotionnel. La hauteur est moins précise, et le voice design ouvert n'égale pas encore le meilleur système évalué. L'avertissement d'usage interdit de se faire passer pour une personne réelle sans son consentement et demande que la parole synthétique soit signalée comme synthétique.

Installation

• Une RTX 2000 Ada de 16 GB sur notre cloud (driver 595.91.07, compute capability 8.9, limite de 70 W, hôte AMD EPYC 7352 avec 6 vCPU), enregistrée comme worker auprès d'un manager InferenceKey local. La production n'a jamais été touchée. Une RTX A4000 et une RTX 4000 Ada étaient en rupture de stock.
• Test de vitesse : une RTX 4090 de 24 GB (450 W, hôte AMD EPYC 75F3), 5 cas.
• Backend personnalisé ming-3-tts-05b 0.1.0 (paquet de 7 215 octets). setup() récupère le tarball des sources de Ming au commit fixé (en sautant ming_tiny, les figures, docker, cookbooks), lance snapshot_download de la révision fixée (sans PDF ni figures), construit MingTTS(model_dir, device, text_normalization=True) avec la wheel pynini 2.1.6.post1, applique un MING_VRAM_LIMIT_GIB optionnel via torch.cuda.set_per_process_memory_fraction, et fait un échauffement avec la voix intégrée US_Emma. bf16, SDPA, réglages par défaut des auteurs, seed 1895.
• Voix de référence : extrait anglais synthétique de 5,22 s fait avec la voix de série "anna" de notre Pocket TTS local : "Thanks for calling the support line. I can help you reset your password in just a minute." Ligne du clone espagnol : "Gracias por llamar. Su nueva contraseña ya está lista; por favor, vuelva a iniciar sesión en todos sus dispositivos."
• Vérifications sur le pod : openai/whisper-large-v3-turbo avec la langue forcée pour chaque cas, CAM++ (campplus.onnx, l'encodeur sur lequel Ming se conditionne) et microsoft/wavlm-base-plus-sv (indépendant).

Délai de disponibilité

Par requête, RTX 2000 Ada

POST /endpoint/<project>/ming-tts/v1/chat/completions sans streaming. GPU s est le temps synchronisé du backend autour de synthesize(). Aller-retour mesuré côté client, à travers un tunnel.

• Aller-retour moins temps GPU : 0,13 à 0,9 s (WAV en base64 à travers le tunnel et le bus de messages, un extrait de 20 s fait environ 1,8 MB brut). D'une exécution à l'autre, le paragraphe de 20,7 s a pris 31,0 à 32,4 s de temps GPU.
• zh-design-authors : le texte a été découpé en deux fragments et le premier a épuisé tout le budget de décodage (343 pas, 41 s, la tête d'arrêt ne s'est jamais déclenchée) avant que le silence final ne soit coupé.
• Mémoire GPU : 2 846 MiB alloués après chargement, 2 888 à 2 936 MiB de pic alloué par requête (2 988 MiB sur l'exception chinoise). Pic de la carte selon nvidia-smi 3 336 MiB, contexte CUDA compris. Utilisation du GPU 23 à 31 %, environ 24 W sur 70 W.
• Le backend sert une requête à la fois (un verrou plus une concurrence de workload de 1). Pas de test en parallèle.
• Avec la même seed, les sorties sont déterministes sur une même carte mais diffèrent légèrement d'une carte à l'autre (5,2 contre 5,3 s pour en-ip-george, 7,0 contre 6,4 s pour le capitaine).

Test de vitesse sur RTX 4090

nvidia-smi pendant en-long : 3 562 MiB, 14 à 20 % d'utilisation, environ 81 W sur 450 W. La boucle de pas est limitée par les lancements et par le CPU. Nous n'avons pas isolé quelle part du gain d'environ 17 % vient du CPU plus rapide de l'hôte.

Échelle de VRAM

Le récit arrondit ces plafonds en GB ; les valeurs exactes sont en GiB. Plafonds fixés avec MING_VRAM_LIMIT_GIB (torch.cuda.set_per_process_memory_fraction) sur la RTX 2000 Ada, chacun avec un nouvel ensure() et des caches chauds. WAV de en-clone-tags, en-ip-george, en-long et es-clone comparés par md5 à l'exécution sans plafond.

Non essayé : toute vraie carte de moins de 16 GB, le fp16 sur des cartes antérieures à Ampere, flash-attn, vLLM-Omni, le CPU.

Détails de qualité

• Mots : 17 extraits de test sur 19 mot pour mot. Les sous-ensembles de l'échelle et de la 4090 ont donné un texte identique.
• Nombres en anglais. La sortie du normaliseur dans le log du backend était Order number four thousand, five hundred twenty，one ships on March three , two thousand twenty，six and costs one thousand, two hundred forty，nine point nine nine dollars , about twelve point five percent less than last year. Call five hundred fifty，five minus one hundred forty，two . Le trait d'union devient une virgule pleine chasse (une pause), et le numéro de téléphone 555-0142 est lu comme une soustraction. Whisper a entendu "Order number 4520. One ships ... costs $1,240, $9.99 ... Call 550-5-142". Écrire les nombres en toutes lettres ne l'a pas évité ("forty-five twenty-one" est devenu "40, 520, 1").
• Les nombres en espagnol sautent le normaliseur : "1.249,99 euros, un 12,5 %" a été entendu comme "1.1249.99 euros, un 2,5%".
• Ressemblance du locuteur, cosinus CAM++ par rapport à la référence : en-clone 0,865, en-clone-tags 0,849, es-clone 0,838, es-long 0,853, es-numbers 0,836. Non-clones de 0,162 (chinois) à 0,540 (US_Emma). Voix conçues de 0,25 à 0,32. WavLM-SV : clones de 0,924 à 0,970, mais la voix intégrée US_Emma (une voix féminine comme la référence) aussi de 0,84 à 0,86, donc WavLM sépare moins bien. Le clonage d'une langue à l'autre (référence anglaise, sortie espagnole) a gardé la voix aussi bien que le clonage dans la même langue, selon les deux mesures.
• Balises : 7,0 contre 5,3 s (clone, [Laughter] [Sigh] [Uhm]) et 5,5 contre 4,2 s (voix intégrée, [Breathing] [Cough] [Question-huh]). Les cadres des balises dans l'image principale viennent des horodatages de mots de Whisper et sont approximatifs. Aucun test d'écoute humaine.
• Le voice design et les consignes libres en anglais et en espagnol ont donné un texte exact. Les prompts comprenaient "A gravelly old sea captain in his seventies, amused and a little hoarse..." et "Whisper, tense and frightened, very quietly and slowly." La correspondance entre la voix et la description n'a pas été mesurée.
• Aucun plantage, NaN ou sortie vide sur environ 60 requêtes.
• Pas de comparaison directe en espagnol avec notre précédent fine-tune espagnol de Pocket TTS : pas le même texte, pas de vérificateur commun, pas d'écoute. Le seul contraste est la vitesse, sur un matériel différent : ce fine-tune tournait à 1,05x le temps réel sur un CPU de bureau, Ming à 0,61 à 0,77x sur GPU.

Pas à pas avec l'exemple du SDK

L'exemple du SDK correspond au commit b038dd7529651076b5055604584c1fd1b51f517c sur la branche main d'inferencekey-sdk : backend.py, publish.py, main.py, requirements.txt, README.md, .env.example, .gitignore.

Il vous faut un token SDK (ik_sdk_), une clé API (ik_live_), un slug de projet et un worker NVIDIA enregistré (IK_WORKER_ID) avec un driver pour CUDA 12.4 ou plus récent et environ 3 GB de VRAM libre. INFERENCEKEY_TENANT_ID et INFERENCEKEY_USER_TOKEN sont optionnels. Sans eux, envoyez dist/*.tar.gz depuis Dashboard, Custom backends, et activez Chat à la main dans les réglages d'endpoint du workload.

cp .env.example .env        # fill in real values
python -m venv .venv && . .venv/bin/activate
pip install maturin requests
( cd ../../bindings/python && maturin develop --release )
python publish.py           # once: packages backend.py and uploads it
python main.py              # ensure -> wait until ready -> 4 WAV files in ./outputs

main.py déploie le workload (ensure(), politique fixe, une réplique), active la route de chat, attend qu'il soit prêt, écrit quatre WAV et supprime le workload en sortant (IK_KEEP_ALIVE=1 le garde). Notre exécution avec IK_KEEP_ALIVE=1 :

Pic de VRAM de 2 912 à 2 926 MiB. Prêt au bout de 60,3 s.

Forme de la requête. Le texte est le dernier message utilisateur, une référence part comme une partie input_audio, et les options vont dans extra_body (task, language_id, style, instruction, voice, prompt_text, seed, cfg, sigma). Le contenu du message de la réponse est une chaîne JSON avec audio_b64 (WAV 16 bits, 44,1 kHz), seconds, task et timings (gpu_s, total_s, realtime_factor, peak_vram_mib). Limites : 600 caractères de texte et 30 s de référence par requête.

import base64, json, os, requests

base = os.environ.get("INFERENCEKEY_BASE_URL", "https://cloud.inferencekey.com").rstrip("/")
project = os.environ["INFERENCEKEY_PROJECT"]
api_key = os.environ["INFERENCEKEY_API_KEY"]
slug = os.environ.get("MING_WORKLOAD_SLUG", "ming-tts")
ref_b64 = base64.b64encode(open("reference.wav", "rb").read()).decode()
REFERENCE_TRANSCRIPT = "Thanks for calling the support line. I can help you reset your password in just a minute."

body = {
    "model": "default",
    "messages": [{"role": "user", "content": [
        {"type": "text", "text": "[Laughter] I did not expect that at all. [Sigh] Well, let's try one more time."},
        {"type": "input_audio", "input_audio": {"data": ref_b64, "format": "wav"}},
    ]}],
    "extra_body": {"task": "TTS", "prompt_text": REFERENCE_TRANSCRIPT, "language_id": "en", "seed": 1895},
}
r = requests.post(f"{base}/endpoint/{project}/{slug}/v1/chat/completions",
                  headers={"Authorization": f"Bearer {api_key}"}, json=body, timeout=600)
out = json.loads(r.json()["choices"][0]["message"]["content"])  # IK-531 workaround
open("clone.wav", "wb").write(base64.b64decode(out["audio_b64"]))

Pour l'espagnol, l'allemand, le français, le coréen ou le japonais, utilisez "task": "MULTILINGUAL" avec "language_id": "es" (et ainsi de suite). Pour une voix conçue, utilisez "task": "VOICE_DESIGN" avec "style". Pour une voix intégrée, utilisez "task": "IP" avec "voice": "UK_George".

Problèmes

1. Plus lent que le temps réel sur les deux cartes (de 0,61 à 0,77x), avec le GPU occupé de 14 à 31 %. C'est la boucle de pas en Python des auteurs qui donne le rythme. Le support de vLLM-Omni est marqué comme fait dans leur feuille de route. Nous n'avons pas essayé cette voie.
2. Nombres : en anglais, les nombres écrits en toutes lettres avec trait d'union reçoivent une pause et les numéros de téléphone deviennent des soustractions. Les nombres en espagnol sautent le normaliseur et sortent brouillés. Statut : comportement en amont, ouvert. Vérifiez les nombres dans la sortie.
3. L'exemple chinois de voice design a atteint une fois la limite de décodage : 49,8 s pour 5 s d'audio. Pas vu en anglais ni en espagnol.
4. /v1/audio/speech ne peut pas transporter la sortie d'un backend personnalisé : l'exemple utilise la route de chat et un json.loads du contenu du message. Ouvert, IK-531.
5. Envoi du backend refusé sur notre machine de dev (XMinioStorageFull, disque plein à environ 99 %). Réglé pour l'exécution en libérant nos propres fichiers. Un problème de l'environnement de test, que vous ne verrez pas.
6. Machines RTX 3080 Ti sans SSH direct (deux fois) : le worker n'a pas pu être installé et le manager a arrêté chacune au bout de 180 s.
7. Cosmétique : le panneau affichait un badge Access "No access" alors qu'une clé générique fonctionnait.
8. Avertissements de chargement en amont, avec une sortie correcte : You are using a model of type dense to instantiate a model of type bailingmm, Sliding Window Attention is enabled but not implemented for sdpa, et une dépréciation de past_key_values dans transformers.

Autres extraits

• Paragraphe en espagnol, voix clonée, 52 mots (18,6 s)
• Voix intégrée UK_George (5,3 s)
• Voix conçue : une petite fille (3,5 s)
• Voix conçue : un narrateur calme (4,2 s)
• Consigne libre : "Whisper, tense and frightened" (3,0 s)

Vidéo de démo

Une présentation de 191 secondes : les extraits de démo des auteurs eux-mêmes (crédités à inclusionAI, Ant Group), leurs benchmarks, notre test sous forme de questions et réponses, et quel GPU. Sous-titres en anglais.

Sources

• Fiche du modèle : https://huggingface.co/inclusionAI/Ming-3.0-tts-0.5B (API HF consultée le 2026-10-28)
• Code : https://github.com/inclusionAI/Ming-3.0-tts au commit 9332fb94, y compris requirements.txt, ming_tts.py, modeling_bailingmm.py, fm/flowloss.py, cookbooks/instruction_en.md
• Benchmarks des auteurs et revendications de classement : https://github.com/inclusionAI/Ming-3.0-tts#performance
• Où nous l'avons repéré : vidéo d'actualité d'AI Search du 2026-10-25, chapitre à 13:33, https://www.youtube.com/watch?v=EfyQOAJjx1A
• Notre exemple du SDK : https://github.com/inferencekey/inferencekey-sdk/tree/main/examples/ming-3-tts-05b-speech-custom-backend-private-nvidia
• Nos mesures : test de déploiement du 2026-10-28 (logs du banc, de l'échelle et de la 4090, résumés par cas, résultats de Whisper et de ressemblance du locuteur, échantillons nvidia-smi)