Muse Spark Open contre DeepSeek V4.1 Flash : le plus rapide a perdu

Si un assistant de code vous rend une page terminée en seize secondes et que l'autre met deux minutes et demie, et que les deux affirment avoir fini, lequel confieriez-vous à votre équipe ? Nous avons fait ce test ce matin sur deux modèles que tout le monde peut télécharger et faire tourner, un jour après la sortie de Muse Spark Open par Meta, et la réponse n'est pas celle que suggérait le chronomètre.

C'est un très gros modèle : 816B paramètres, les nombres que le modèle a appris pendant son entraînement, dont seulement 42B servent pour chaque mot qu'il écrit. Meta a publié ce fichier de nombres (les poids), donc n'importe qui peut télécharger le modèle et le faire tourner. Son adversaire ici est DeepSeek V4.1 Flash, le modèle bon marché de DeepSeek, que nous avions déjà fait tourner sur deux cartes graphiques la semaine dernière. Nous avons utilisé les deux comme assistants de code le 16 octobre, dans un terminal et dans Claude Code, et nous avons tout filmé :

La vidéo dure 5 min 13 s, avec une voix off et des sous-titres en anglais. C'est un premier regard, pas un banc d'essai : un seul passage par test, sur une seule journée. Les mesures de vitesse comparent deux services, Muse servi par Baseten et DeepSeek servi par DeepSeek lui-même, et non les deux modèles sur le même matériel. Et dans Claude Code, nous avons laissé DeepSeek réfléchir davantage que Muse (le réglage était élevé pour DeepSeek et moyen pour Muse), ce qui compte pour la manche sur laquelle repose le titre.

Quoi	Muse Spark Open (Baseten)	DeepSeek V4.1 Flash (API DeepSeek)
Même consigne courte, ce qui est revenu	du code en 2,5 s	pas de code après 8,4 s (encore en train de réfléchir à la limite)
Huit problèmes de programmation (dont six difficiles) résolus	7 sur 8	7 sur 8
Coût de ces huit problèmes au prix catalogue	0,38 USD	0,07 USD
Claude Code, coût moyen par petite tâche	0,148 USD	0,016 USD
Claude Code, temps pour construire un tableau de bord	16 s	2 min 29 s
Ce tableau de bord fonctionnait-il	non, les barres restent vides	oui

En bref : sur Baseten, Muse est très rapide et code aussi bien que DeepSeek sur ces tests. Il réfléchit aussi plus longtemps, coûte cinq à neuf fois plus cher par tâche dans nos essais, et son travail le plus rapide a eu besoin d'être revu.

Où se situent les deux modèles

Sur l'Intelligence Index d'Artificial Analysis, une note indépendante qui combine de nombreux tests, les deux modèles étaient à égalité le jour de notre essai :

Modèle	Artificial Analysis Intelligence Index (2026-10-16)
Claude Opus 5.5	58
GPT-6 Astra	53
Gemini 4 Argon	53
GLM-5.3	45
Kimi K3	44
Muse Spark Open	39
DeepSeek V4.1 Flash	39

Aucun des deux ne figure donc parmi les tout meilleurs modèles. Claude Opus 5.5, le modèle phare d'Anthropic, est loin devant. Le combat intéressant oppose les deux moins chers, parce que c'est la catégorie dans laquelle une équipe choisit le modèle qu'elle fait tourner toute la journée.

La partie du travail qu'on ne voit jamais

Avant les résultats, une idée qui en explique l'essentiel. Les modèles actuels réfléchissent avant de répondre : ils prennent des notes pour eux-mêmes, que l'on ne lit généralement pas, et seulement ensuite rédigent la réponse. Les modèles comptent tout ce texte en tokens, des morceaux de mots, et ces notes sont facturées comme n'importe quel autre token. Un modèle qui réfléchit sur 6 000 tokens pour écrire une réponse de 200 tokens vous en facture 6 200.

Cela change le sens du mot "rapide". Un modèle peut produire des tokens à toute vitesse et vous faire attendre quand même s'il en écrit beaucoup plus, et il peut être bon marché par token et vous coûter plus cher s'il réfléchit deux fois plus longtemps. Gardez cela en tête pendant les trois manches.

Première manche : Muse avait le code en 2,5 secondes

Muse affichait à l'écran du code d'apparence fonctionnelle en 2,5 secondes. DeepSeek a passé 8,4 secondes à réfléchir sans jamais écrire une ligne. La demande était la même pour les deux, envoyée au même instant : écrire une fonction Python qui convertit une durée comme "P3DT4H5M" en secondes, avec une courte explication et cinq exemples qui servent aussi de tests. Nous avions demandé peu de réflexion et autorisé au plus 1 500 tokens en sortie.

Muse a commencé à répondre en un tiers de seconde environ. Il a réfléchi sur 229 de ses 1 006 tokens et consacré le reste à la fonction, à son explication et aux exemples. Nous avons vu le code, mais nous n'avons pas enregistré la sortie de ce passage, donc nous ne pouvons pas affirmer ici que ses exemples passaient à l'exécution.

DeepSeek a démarré en 0,75 seconde et a écrit vite, 1 500 tokens en 8,4 secondes, mais chacun d'eux était une note pour lui-même. Lors d'un autre test le même matin, avec une limite de tokens deux fois plus haute, DeepSeek a bien répondu, mais ses premiers vrais mots mettaient 3 à 6 secondes à apparaître, contre environ une seconde pour Muse.

"Muse est plus rapide" est vrai pour le service de Baseten. Sur l'ensemble des entreprises qui servent chaque modèle, Artificial Analysis constate l'inverse : le service DeepSeek typique est le plus rapide (179 tokens par seconde contre 102 pour Muse). Ce que nous avons vu est plus étroit : Baseten sert une copie compressée de Muse, et sur son service Muse a été très rapide dans nos essais.

Deuxième manche : même score, facture plus lourde

Les deux modèles ont résolu les mêmes problèmes de programmation difficiles, et la facture de Muse a été environ cinq fois celle de DeepSeek. Les problèmes viennent d'AtCoder, un site japonais de concours de programmation, via LiveBench, un jeu de tests public. Chaque réponse est vérifiée sur les exemples de l'énoncé et sur des tests cachés. Cette fois, nous avions demandé beaucoup de réflexion, jusqu'à 24 000 tokens.

En direct dans la vidéo, sur deux problèmes difficiles, les deux modèles ont fait 2 sur 2, en passant 15 tests sur 15 pour chacun (les 3 exemples de l'énoncé plus 12 cachés). Muse a bouclé les deux en 38 secondes, DeepSeek en 53. La course a été plus serrée que ce total ne le laisse croire. Muse a mis 17,1 secondes sur Island Tour, là où DeepSeek en a eu besoin de 40,2. Sur Set Meal, DeepSeek a été plus rapide, 13,2 secondes contre 21,0.

La plus grande différence tenait au nombre de tokens : 14 308 pour Muse, 9 154 pour DeepSeek. C'est la réflexion de la section précédente, et elle se retrouve sur la facture.

Plus tôt le même jour, nous avions lancé une série de huit de ces problèmes, six difficiles et deux moyens. Les deux modèles en ont résolu sept. Les deux ont raté le même, Negative Traveling Salesman, en réfléchissant jusqu'à la limite de 24 000 tokens sans écrire de code. Même score, facture environ cinq fois plus lourde : les huit problèmes ont coûté 0,38 USD avec Muse et 0,07 USD avec DeepSeek au prix catalogue. Muse a écrit environ 1,5 fois plus de tokens (environ 88 000 contre 59 000) et fait payer chacun plus cher.

Troisième manche : une page qui avait l'air finie

Muse a rendu une page d'apparence terminée en 16 secondes, et toutes ses barres étaient vides. DeepSeek a mis 2 minutes 29 secondes et sa page fonctionnait.

Le montage : nous avons branché Claude Code, l'agent de programmation d'Anthropic, sur chaque modèle et donné aux deux la même demande et le même fichier de résultats. Construire une page web autonome qui charge les données et en fait un tableau de bord sombre et animé comparant les deux modèles, en moins de 250 lignes.

Muse a réfléchi 12 secondes, écrit une page de 88 lignes d'un seul jet et s'est arrêté au bout de 16 secondes. Son dernier message disait : "Vérifié que data.json est bien chargé en direct et que les quatre mesures demandées sont affichées." Sa seule vérification a consisté à chercher quelques mots attendus dans le fichier. Il n'a jamais ouvert la page.

DeepSeek a d'abord chargé un ensemble de règles pour faire des graphiques que Claude Code peut utiliser, et vérifié que ses deux couleurs se distinguaient facilement, y compris pour les lecteurs daltoniens. Puis il a écrit la page, l'a ouverte dans un navigateur et a pris des captures d'écran pour la voir. L'animation semblait figée sur les captures, alors il a fait une copie de la page avec l'animation déjà terminée, a confirmé que les barres étaient pleines et a corrigé les problèmes de mise en page qu'il avait repérés. Résultat : une page de 188 lignes.

La page de Muse a une mise en page soignée, six cartes et un tableau des coûts. Les barres échouent à cause d'une seule règle de la feuille de style de la page, c'est-à-dire ses règles de présentation. Les barres ne reçoivent une couleur que par une règle qui cherche la barre à l'intérieur de la ligne portant le nom du modèle. La page écrite par Muse place la barre à côté de cette ligne, pas dedans. La barre prend la bonne largeur, mais elle est invisible. Une personne l'aurait vu dès la première seconde après avoir ouvert la page. DeepSeek a fait la balance. Muse a vérifié que la liste des morceaux était bien scotchée au sol et il est monté sur scène.

La page de DeepSeek fonctionne : un grand titre "5.2x" pour l'écart de coût, quatre cartes avec des barres remplies et légendées, et le gagnant signalé quand il y en a un.

Elle n'est pas parfaite non plus. Sous une carte, elle indique que les tâches Claude Code ont réussi "at $0.296 each" et "at $0.033 each" (à tant chacune), alors que ces chiffres sont les totaux de deux tâches, pas le coût par tâche. Les nombres sont justes, seule l'étiquette est fausse, une erreur moins grave que des barres vides.

Lors de deux travaux Claude Code antérieurs sur une petite bibliothèque bancaire de démonstration (corriger les bugs, ajouter une commande de rapport), les deux modèles ont passé tous les tests cachés, et DeepSeek l'a fait pour environ un neuvième du prix : 0,016 USD par tâche contre 0,148 USD. Ils ont même corrigé les deux mêmes lignes.

Deux réserves pour rester honnêtes. Il s'agit d'un seul passage par modèle. Et l'effort n'était pas le même : nous avons atteint Muse via une petite couche de traduction (Baseten ne parle que le format de requête d'OpenAI, Claude Code parle celui d'Anthropic), et il y tournait avec un effort de réflexion moyen, tandis que DeepSeek tournait avec son réglage par défaut, élevé. Un Muse qui réfléchit davantage vérifierait peut-être aussi davantage. Nous ne l'avons pas testé.

Qui l'a rendu possible

Meta a entraîné Muse Spark Open et publié les poids, ce qui permet à chacun, nous compris, de le tester, de l'héberger ou de construire dessus. Baseten le servait déjà au moment de notre test, et c'est là que nous avons mesuré la vitesse de Muse. DeepSeek a construit V4.1 Flash, en a aussi publié les poids et le sert via sa propre API. AtCoder a écrit les problèmes et leurs tests, et l'équipe de LiveBench (qui s'appuie sur une collection antérieure, LiveCodeBench) a publié le jeu que nous avons utilisé. Artificial Analysis tient à jour les notes indépendantes que nous citons. Anthropic fait Claude Code, et le projet LiteLLM a fait la couche de traduction qui a permis à Claude Code de parler à Muse.

Notre part a été d'assembler le tout : les scripts de test, la correction, la configuration de Claude Code pour chaque modèle, la lecture du code écrit par les deux et l'enregistrement.

Ce que cela change pour la facture

Sur les tâches que nous avons menées, Muse a coûté cinq à neuf fois plus cher que DeepSeek : 0,38 contre 0,07 USD pour les huit problèmes, et 0,148 contre 0,016 USD par travail Claude Code. Une partie vient du prix, puisque Muse facture environ quatre fois plus par token, et une partie de ce qu'il réfléchit plus longtemps. Artificial Analysis, sur son propre jeu de tâches, situe le coût par tâche à 0,84 USD pour Muse et 0,27 pour DeepSeek, contre 5,98 pour Claude Opus 5.5.

Pour une équipe qui fait tourner un assistant toute la journée, c'est le coût par tâche qui s'accumule : mille petites tâches comme les nôtres reviennent à environ 148 USD avec Muse et environ 16 USD avec DeepSeek. La vitesse est agréable, et sur Baseten Muse est très rapide. Mais quand la réponse rapide demande à une personne de la vérifier, comme pour le tableau de bord, le temps gagné repart dans la relecture.

La vitesse de Muse ici est celle du service de Baseten, et d'autres fournisseurs le servent plus lentement. Comme les poids sont publics, vous pouvez choisir qui le fait tourner, à quelle vitesse et à quel prix, et si votre code quitte un jour vos propres machines. Le faire tourner soi-même demande un serveur avec plusieurs cartes graphiques : en FP4, les poids seuls pèsent environ 408 GB, plus que ce que contient une seule carte. Nous ne l'avons pas encore essayé, ni aucun autre fournisseur que Baseten. La licence de Meta l'autorise, avec deux conditions bonnes à connaître. Il faut afficher "Built with Muse Spark Open". Et quiconque en vend l'accès comme un service, avec plus de 20 M USD de chiffre d'affaires sur 12 mois, doit le notifier à Meta et signer un accord distinct. L'usage interne, la recherche et l'utilisation comme composant de votre propre produit sont exemptés de cette seconde condition.

Sur ces essais, pour un assistant de code bon marché qui vérifie son propre travail, DeepSeek V4.1 Flash gagne encore. Muse est à suivre. La question suivante est celle que nos essais laissent ouverte : avec le même effort élevé dans Claude Code, Muse ouvre-t-il la page avant de dire qu'il a fini ?

Pour les ingénieurs

Tous les chiffres ci-dessous proviennent de nos relevés d'exécution du 2026-10-16 ou des sources citées plus haut.

• Modèles et fournisseurs. Muse Spark Open : 816B au total, 42B actifs, 256 experts dont 8 actifs par token, contexte de 1M, publié le 2026-10-15 sous la Muse Model License (fiche du modèle). Servi par la Baseten Model API, compatible OpenAI, slug meta-models/muse-spark-open. /v1/models renvoyait meta-models/Muse-Spark-Open-816B-A42B-NVFP4. Baseten indique le décodage spéculatif dans l'usage (course : 767 tokens de prédiction acceptés, 899 rejetés, donc moins de la moitié acceptés). Les poids FP4 et le décodage spéculatif expliquent probablement une partie de l'avance de Baseten en vitesse, mais rien de ce que nous avons mesuré n'isole l'un ou l'autre effet. DeepSeek V4.1 Flash via l'API propre de DeepSeek, modèle deepseek-flash.
• Prix par million de tokens. Muse sur Baseten : 1,25 en entrée, 0,15 en entrée en cache, 4,25 en sortie, en USD. DeepSeek en heures pleines : 0,30 en entrée (hors cache), 0,006 en cache, 1,20 en sortie, en USD. Les heures creuses sont à moitié prix. Les heures pleines vont de 01:00 à 04:00 et de 06:00 à 10:00 UTC, du lundi au vendredi. Rapports : 3,5x en sortie, 4,2x en entrée. Tous les coûts DeepSeek de cet article utilisent les prix des heures pleines. La série de 8 problèmes (10:22 à 10:25 UTC), les petites tâches Claude Code (à partir de 10:28 UTC) et les passages de la vidéo (vers 10:55 UTC) tombent tous après 10:00 UTC un vendredi, donc au prix des heures creuses un lecteur paierait la moitié, et 0,07 et 0,016 USD sont des plafonds.
• Contexte externe (2026-10-16). Artificial Analysis Intelligence Index : Claude Opus 5.5 58, GPT-6 Astra 53, Gemini 4 Argon 53, GLM-5.3 45, Kimi K3 44, Muse Spark Open (xhigh) 39, DeepSeek V4.1 Flash (max) 39. Coût par tâche : 5,98 / 0,84 / 0,27 USD (Opus / Muse / DeepSeek). Vitesse de sortie médiane tous fournisseurs confondus : Muse 102, DeepSeek 179, Opus 97 tok/s. Fiche du modèle de Meta (chiffres déclarés par l'éditeur) : Terminal-Bench 2.1 (Terminus 2) Muse 76,4 contre Kimi K3 85,0, GLM 5.3 83,9, Qwen3.8-2.4T-A95B 82,0. MCP-Atlas : Muse 89,2, le plus haut du tableau de Meta.
• Course. Consigne : "Write a Python function that parses an ISO 8601 duration string (like P3DT4H5M) into seconds. Include a docstring and 5 doctests." En streaming, reasoning_effort=low, max_tokens=1500, les deux lancés ensemble. Le premier token compte le premier token de raisonnement ou de contenu. tok/s = tokens générés / (fin moins premier token), raisonnement compris. Muse : 0,34 s, 455 tok/s, 1 006 tokens (229 de raisonnement), 2,5 s. DeepSeek : 0,75 s, 197 tok/s, 1 500 tokens (les 1 500 de raisonnement), 8,4 s, pas de code. Le code de Muse lance doctest.testmod() sous __main__ et compte une année comme 365,2425 jours et un mois comme 30,436875. La sortie de la course n'a pas été enregistrée, donc l'exécution des doctests n'est pas vérifiée.
• Test de vitesse du matin. 3 consignes, reasoning_effort=low, max_tokens=3000, l'une après l'autre. Muse : TTFT 0,31 / 0,34 / 0,37 s, premier token de réponse 0,87 / 1,30 / 1,40 s, 431 / 299 / 331 tok/s. DeepSeek : TTFT 0,51 / 0,82 / 0,91 s, premier token de réponse 3,0 / 5,3 / 5,9 s, 290 / 175 / 270 tok/s.
• LiveBench, 8 problèmes. Partie test de livebench/coding, sous-ensemble LCB_generation (dérivé de LiveCodeBench), problèmes AtCoder uniquement, versions du 2024-06-24 et du 2024-07-26 (publiques, donc une contamination est possible). 6 difficiles, 2 moyens, consigne mot pour mot, reasoning_effort=high, max_tokens=24000, 4 requêtes en parallèle, tests publics et privés, 10 s par test. Muse / DeepSeek, tokens et secondes : Mex and Update 6,1K/17 contre 4,1K/24. Set Meal 5,2K/15 contre 3,2K/19. Last Train 17,3K/54 contre 9,3K/55. Island Tour 5,3K/14 contre 3,6K/20. Christmas Color Grid 1 15,0K/41 (numpy + scipy) contre 11,3K/54. Erase Leaves 9,4K/35 contre 2,4K/14. Many Replacement 5,5K/19 contre 1,1K/6. Negative Traveling Salesman : les deux atteignent la limite de 24K sans bloc de code. Totaux : 7/8 chacun, 87 877 contre 59 024 tokens en sortie (1,49x), 0,3823 contre 0,073 USD (5,2x). La réponse de Muse à Christmas Color Grid a d'abord échoué uniquement parce que notre bac à sable de correction n'avait ni numpy ni scipy. Nous les avons installés et avons recorrigé la réponse enregistrée, sans nouvel appel à l'API.
• LiveBench, manche en direct. Même effort (high) et même limite de 24K, même correcteur (10 s par test), mais chaque fournisseur a traité ses deux problèmes l'un après l'autre, et non 4 en parallèle. Island Tour et Set Meal, 15 tests chacun (3 exemples publics qui figurent dans la consigne plus 12 cachés). Muse 17,1 s / 6 547 tokens et 21,0 s / 7 761 tokens, 38 s et 14 308 au total. DeepSeek 40,2 s / 7 064 et 13,2 s / 2 090, 53 s et 9 154 au total.
• Configuration de Claude Code. Claude Code 2.1.301. Muse via un proxy LiteLLM local (fournisseur hosted_vllm, api_base https://inference.baseten.co/v1, reasoning_effort: medium, use_chat_completions_url_for_anthropic_messages: true), car Baseten n'a pas de point d'accès compatible Anthropic. DeepSeek via https://api.deepseek.com/anthropic, modèle deepseek-flash, effort par défaut (élevé).
• Manche du tableau de bord. Consigne : "Build index.html: one self-contained page (inline CSS and JS, no libraries or CDNs) that loads data.json and turns it into a dark, animated dashboard comparing the two models: speed, first token, coding problems solved and cost. Keep it under 250 lines." data.json identique (chiffres du matin : 330 contre 270 tok/s, 0,34 contre 0,82 s jusqu'au premier token, 1,3 contre 5,29 s jusqu'au premier token de réponse). Muse : tour de 16,1 s, un seul Write de 88 lignes, vérification limitée à des assertions sur des chaînes du fichier. Le bug : .c0 .fill et .c1 .fill sont les seules règles qui donnent un fond au remplissage, mais c0/c1 sont posés sur le div .row et <div class="bar"><div class="fill"> en est un frère, pas un descendant, donc la largeur s'anime sur un élément sans fond. DeepSeek : tour de 149,3 s, skill dataviz, palette #3987e5 / #d95926 validée (CVD dE 26,8), captures avec google-chrome sans interface, état final vérifié sur une copie temporaire parce que le temps virtuel du mode sans interface figeait l'animation, page de 188 lignes. Son marqueur "✓ best" est omis quand les deux valeurs sont égales (problèmes résolus, 7 contre 7). Le pied de sa carte présente les totaux de deux tâches (0,296 / 0,033 USD) comme "each" (chacune).
• Petites tâches Claude Code. claude -p, configuration vierge, projet de test minibank avec 3 tests sur 4 en échec, tests cachés. Correction : les deux à 4/4 sur leurs propres tests et 8/8 sur les tests cachés. DeepSeek 32 s, 0,0117 USD. Muse 20 s, 0,0752 USD (13 requêtes). Commande de rapport : les deux à 16 tests propres et 3/3 cachés. DeepSeek 65 s, 0,0208 USD. Muse 56 s, 0,2213 USD (22 requêtes). Moyenne par tâche 0,148 contre 0,016 USD (la vidéo arrondit le second à 0,017). Les deux ont corrigé les deux mêmes lignes (lecture des Decimal, copie du dict). DeepSeek a découpé le rapport en petites fonctions testables. Muse l'a écrit d'un bloc, mais formate correctement les soldes négatifs et a ajouté un contrôle d'usage. Aucun des deux ne valide un --min non numérique.
• Limites.
  • Un seul passage par test, sur une seule journée. 8 problèmes et 3 travaux Claude Code ne font pas un banc d'essai.
  • La vitesse compare des fournisseurs (Baseten en FP4 avec décodage spéculatif contre l'API propre de DeepSeek), pas des modèles sur le même GPU.
  • L'effort n'était pas le même dans Claude Code : Muse en moyen via LiteLLM, DeepSeek en élevé.
  • Les problèmes LiveBench sont publics, donc l'un ou l'autre modèle a pu les voir pendant son entraînement.
  • Les coûts sont calculés à partir des prix catalogue et du nombre de tokens, avec DeepSeek aux prix des heures pleines.
  • Aucun coût par tâche n'est donné pour la manche du tableau de bord.