Carbon-X lit l'ADN sur une carte de 24 GB : 3 étiquettes sur 4 justes, pas les raisons

Carbon-X a lu 55 lettres d'un gène humain portant le seul changement à l'origine de la drépanocytose, et l'a signalé comme pathogène. Sur l'une de nos deux cartes, il a ensuite justifié sa réponse en désignant la mauvaise lettre.

Carbon-X est le nouveau modèle ouvert de Hugging Face qui lit de l'ADN brut au milieu d'une conversation ordinaire et répond en anglais. Nous l'avons servi avec des logiciels ouverts non modifiés sur une RTX 4090, une carte gaming de 24 GB, sur notre cloud. Sur cette carte, il a classé correctement comme nocifs ou inoffensifs 75 % de 40 changements d'ADN connus tirés de ClinVar, une base publique de données génétiques (auteurs : 74,9 %). Il a répondu sur une paire de séquences de 4 096 lettres en 2,5 secondes environ. Si vous faites tourner vos propres GPU, c'est un spécialiste de l'ADN qui garde les séquences non publiées sur votre machine et tourne sur un logiciel de service ouvert standard avec une seule commande. Servez-vous de ses étiquettes nocif ou inoffensif comme premier tri. Ne vous fiez pas à ses explications.

L'image montre une seule exécution sur chaque carte. Les deux ont donné la bonne étiquette, et aucune n'a nommé le gène ni le changement dans la protéine. Sur 20 essais par carte, la réponse a été pathogène 16 fois et bénigne 4 fois. La carte de 48 GB a cité la mauvaise base dans 12 essais sur 20. Les exécutions avec des poids réduits ont cité la bonne dans 16 et 18 essais sur 20. Quand nous avons retiré le hasard intégré au modèle, la carte de 48 GB a dit bénin.

Un modèle de chat qui lit l'ADN six lettres à la fois

Carbon-X n'est pas un nouveau type de modèle, et c'est pour cela qu'il a été facile à servir. Sous le capot, c'est Qwen3-14B, le modèle de chat ouvert de 14,8 milliards de paramètres de l'équipe Qwen, réentraîné sur de l'ADN et des textes de biologie. Hugging Face a ajouté une seule chose à l'entrée : une nouvelle façon de découper l'ADN en morceaux avant que le modèle ne le lise.

Les modèles de langage lisent le texte sous forme de tokens, des fragments de quelques lettres chacun. Le découpage habituel de Qwen hache l'ADN en morceaux bizarres, si bien que les longues séquences coûtent beaucoup de tokens. Carbon-X ajoute 5 515 tokens d'ADN à ceux que Qwen connaît déjà. La plupart (4 096) sont des blocs de six lettres faits de A, C, G et T, donc un token couvre six bases. Imaginez un guitariste qui lit un trait de six notes comme une seule forme plutôt que six notes séparées.

C'est grâce aux six lettres par token que l'ADN long tient. Dans notre test, deux séquences de 4 096 lettres plus la question ont fait 1 445 tokens. Une figure des auteurs montre une question courte avec une séquence de 27 lettres qui prend 20 tokens avec le tokenizer de Qwen3 et 13 avec celui de Carbon-X.

Vous n'avez pas à marquer l'ADN vous-même. Toute suite de six lettres A, C, G et T ou plus dans votre message est marquée comme ADN automatiquement. Collez une séquence dans une phrase et demandez : ce variant est-il nocif, à quoi sert cette région, quelles bases viennent ensuite.

Le piège, pour le service, c'est que ce découpage est du code Python sur mesure livré avec le modèle. Vous devez laisser le logiciel de service exécuter du Python venu du dépôt du modèle sur votre propre machine. Nous avons lu ce fichier d'abord : il n'utilise que des bibliothèques Python standard et très répandues. Au premier chargement, il télécharge aussi le vocabulaire de base de Qwen depuis Hugging Face, donc la machine a besoin d'un accès à internet à ce moment-là. Le reste est un modèle 14B standard.

Hugging Face annonce 66,7 %, proche de GPT-6.1 Sol pour une fraction du coût

Le chiffre phare des auteurs, dans leur blog de lancement et sur la fiche du modèle, est une moyenne de 66,7 % sur cinq benchmarks d'ADN. GPT-6.1 Sol obtient 67,5 % dans le même tableau et Opus 5.5 60,9 %. Hugging Face a chiffré son propre modèle à 5 dollars l'heure de GPU, et les autres aux prix publics de leurs API : pour 1 800 dollars dépensés avec Sol, Carbon-X en dépense environ un. Le sous-titre du blog dit 1 000x à la place.

L'affirmation la plus concrète porte sur ClinVar, la base publique où les laboratoires déposent des variants génétiques et ce qu'ils pensent de l'effet de chacun. Environ 2,4 millions de ses variants restent de signification incertaine. Les auteurs estiment que les noter tous une fois avec Carbon-X coûterait environ 300 dollars (leur graphique indique 271), contre 32 000 dollars à 4 millions avec les modèles de pointe. Nous n'avons reproduit ni cette estimation ni les 66,7 % : leurs données d'évaluation ne sont pas publiques, nous avons donc construit notre propre jeu à partir de sources publiques.

Nous avons repéré Carbon-X dans le récapitulatif AI NEWS d'AI Search du 25 octobre. Cette vidéo dit que Carbon-X dépasse GPT-6.1 en moyenne. Le propre tableau des auteurs le place 0,8 point derrière Sol. La fiche du modèle dit que llama.cpp et les runtimes GGUF ne sont pas pris en charge, et pourtant la démo du blog des auteurs fait tourner un GGUF 8 bits sur un MacBook à 34 tokens par seconde. Nous n'avons pas testé la voie du portable.

Notre test : deux vraies cartes, 120 questions publiques, les réglages des auteurs

Nous avons servi Carbon-X sur deux cartes de notre cloud. Un modèle, c'est surtout ses poids, les 14,8 milliards de nombres qu'il a appris. L'exécution principale a utilisé une RTX A6000 de 48 GB et gardé chaque poids sur 16 bits, le format natif du modèle. La seconde a utilisé une RTX 4090 de 24 GB et réduit chaque poids à 8 bits au chargement, ce qui divise presque par deux leur mémoire. Les deux exécutions sont passées par notre plateforme, comme une application l'appellerait.

Le jeu de questions comptait 120 éléments, tous issus de données publiques. Quarante étaient de vrais variants ClinVar dans des gènes codant des protéines, 20 inoffensifs et 20 nocifs, tirés du même jeu de test que celui des auteurs. Le modèle ne voyait que la séquence de référence, la séquence modifiée et notre question, jamais le nom du gène. Soixante étaient des questions à choix multiples de GenomeQA sur le rôle d'une région d'ADN, dix par tâche. Vingt demandaient les 24 bases suivantes d'un gène humain.

Nous avons utilisé les réglages des auteurs : pas de raisonnement pas à pas avant de répondre, et un peu de hasard dans chaque réponse. Nous avons aussi fait tourner le tout sans hasard.

Une limite dès le départ : 40 et 60 questions, ce sont de petits échantillons. Sur 40 variants, un score de 77,5 % pourrait honnêtement se situer n'importe où entre 64 % et 90 % environ. Lisez nos chiffres comme "conforme aux auteurs ou non", pas comme un classement.

Résultats : sur de vrais variants ClinVar, les étiquettes rejoignent celles des auteurs

Carbon-X a étiqueté correctement 77,5 % de nos 40 variants ClinVar sur la carte de 48 GB avec les réglages des auteurs. Les auteurs annoncent 74,9 % sur les 1 018 variants de ce test. Sur GenomeQA, il a obtenu 65,0 %, contre 63,6 % pour les auteurs.

À conditions égales, sans hasard, la 4090 a obtenu 75,0 % contre 80,0 % : deux variants sur 40, dans le bruit. Ses réponses ont coïncidé avec celles de la carte de 48 GB sur 36 variants sur 40 et 57 questions sur 60. Supprimer le hasard a changé une réponse sur 40. Ce qui limite ces chiffres, c'est la petite taille de l'échantillon.

Les erreurs penchent d'un côté. Sur la carte de 48 GB, le modèle a repéré 19 des 20 variants nocifs, mais seulement 12 des 20 inoffensifs. Il a donc signalé 8 variants inoffensifs sur 20. Sur une longue liste réelle, cela fait beaucoup de cas inoffensifs à revoir par un humain.

Sur la 4090, une question complète sur un variant avec deux séquences de 4 096 lettres revient en 2,4 à 2,6 secondes, contre 7,1 à 7,5 sur la carte de 48 GB en 16 bits. L'essentiel du gain vient des poids sur 8 bits : avec eux, même la carte de 48 GB a répondu à la même question en 4 secondes environ.

Là où il casse : l'étiquette tient, le raisonnement non

Les verdicts sont exploitables, mais les explications qui les entourent sont souvent fausses, même quand le verdict est juste. C'est important, parce qu'une réponse de chat dans un anglais fluide invite à faire confiance au raisonnement.

Sur un vrai variant ClinVar où un T était devenu un C, il a donné la bonne étiquette avec la justification "The variant changes C to C". Face à 93 bases du gène de la bêta-globine, il les a traduites correctement en protéine, puis a dit que le gène était PKM2, un autre gène. Les auteurs préviennent exactement de cela : le modèle "can miscount bases, confuse coordinates" et peut inventer l'identité d'une séquence.

Certaines tâches sont faibles aussi. Sur deux des six tâches de GenomeQA, il a obtenu 3 sur 10 à chaque fois, à peu près aussi faible que ce qu'annoncent les auteurs (29,8 % et 34,6 %). Quand on lui a demandé les 24 bases suivantes d'un gène humain, il a trouvé environ 29 % des bases, là où le hasard en trouve 25 %. Ce jeu est le nôtre, pas le benchmark NextBase des auteurs (39,4 %), donc les deux ne sont pas directement comparables.

Ce n'est pas un outil clinique, et les auteurs le disent.

Quel GPU : une RTX 4090 de 24 GB avec des poids sur 8 bits, pas la carte de 80 GB de la fiche du modèle

La plus petite carte qui a fonctionné est une vraie RTX 4090 de 24 GB, avec les poids réduits à 8 bits et de la place pour 8 192 tokens par conversation. Elle a culminé à 21,4 GB et a répondu plus vite que la carte de 48 GB (voir Résultats).

En pleine précision 16 bits, il faut une carte de 48 GB. Notre RTX A6000 affichait 40,6 GB utilisés, et l'essentiel de ce qui dépasse les poids est de la place réservée au texte des conversations en cours. Les 80 GB de la fiche du modèle, pour un fichier de 29,6 GB, sont généreux.

Voici ce qui a tourné sur du vrai matériel et ce qui n'a pas marché :

• Vraies cartes : RTX A6000 48 GB en 16 bits (réussi) et RTX 4090 24 GB en 8 bits (réussi).
• Simulé en plafonnant la mémoire de la carte de 48 GB : un plafond de 24 GB en 8 bits a réussi (77,5 % et 65,0 %). Trois tentatives à 16 GB ont échoué : deux n'ont pas démarré, et la troisième a péniblement sorti un token toutes les cinq secondes environ.
• Pas essayé : les cartes de 32 GB et de 80 GB, et plusieurs autres modèles de 24 et 48 GB (liste en annexe).

La limite de 8 192 tokens sur la 4090 est la moitié de ce que nous avons utilisé sur la carte de 48 GB. Nous n'avons pas mesuré la vitesse sur des prompts plus longs que notre paire de variants, ni à proximité de la limite de 40 960 tokens du modèle.

Sur InferenceKey : une ligne de commande, prêt en six minutes sur une carte froide

Depuis un worker de 48 GB froid, sans vLLM ni poids dessus, Carbon-X servait sur vLLM standard, le logiciel de service ouvert, en 356 secondes, avec une seule ligne de commande. Un modèle de domaine ne devrait pas avoir besoin d'un moteur sur mesure, et celui-ci n'en a pas eu besoin. L'essentiel de l'attente a été l'installation de vLLM (138 secondes) et la mise en chauffe du moteur (136 secondes). Télécharger 30 GB de poids a pris 22 secondes, et les charger 30. La 4090 était prête en 262,5 secondes. Notre exemple du SDK déploie le modèle sur votre machine GPU, attend qu'il soit prêt, pose deux questions de la fiche du modèle et le supprime.

Deux réglages ont fait le travail : une version de vLLM fixée avec laquelle le tokenizer fonctionne à coup sûr, et le raisonnement pas à pas désactivé côté serveur, comme les auteurs l'ont entraîné.

Un problème se voit dans la sortie. Les réponses qui contiennent de l'ADN reviennent entourées des marqueurs littéraux <dna> et </dna>, et l'option de nettoyage de vLLM ne les retire pas. Statut : ouvert. Le README de l'exemple vous dit de retirer les balises dans votre parseur.

Faut-il l'utiliser ? Oui pour du tri sur votre propre carte, non pour ses explications

• Si vous devez trier de nombreux variants selon leur nocivité probable, lancez-le, mais ne prenez pas une réponse unique pour définitive. Le verdict sur la drépanocytose a basculé en bénin sans hasard. Sur la 4090, 120 questions envoyées 8 à la fois ont pris 45,9 secondes, avec une médiane de 3,3 secondes chacune. Nous n'avons pas mesuré les tokens par seconde sous charge.
• Si vous devez savoir pourquoi, ne le croyez pas sur parole. Les positions, les bases et les noms de gènes dans ses explications étaient faux trop souvent. Calculez les positions dans du code.
• Si vos séquences ne peuvent pas quitter le bâtiment, il est sous Apache-2.0, sans accès restreint, et tourne sur une seule carte de 24 GB que vous contrôlez.
• Si votre carte a 16 GB, passez votre chemin pour l'instant. Aucune configuration de vLLM que nous avons essayée n'a marché.

Pour poser à Carbon-X les deux questions d'ADN des auteurs sur votre propre carte NVIDIA, lancez python main.py depuis l'exemple du SDK Carbon-X. Il faut un projet InferenceKey avec un token SDK et une clé API. Il faut aussi une machine NVIDIA avec un driver CUDA 13 (580 ou plus récent) et 48 GB, ou 24 GB avec CARBON_FP8=1, plus un accès à Hugging Face au premier chargement. Il supprime le déploiement quand il a fini.

# 48 GB card, BF16 (main run)
vllm serve HuggingFaceBio/Carbon-X --trust-remote-code --dtype bfloat16 \
  --max-model-len 16384 \
  --default-chat-template-kwargs '{"enable_thinking": false}'

# 24 GB card, FP8 at load (what CARBON_FP8=1 sends)
vllm serve HuggingFaceBio/Carbon-X --trust-remote-code --dtype bfloat16 \
  --max-model-len 8192 --quantization fp8 \
  --default-chat-template-kwargs '{"enable_thinking": false}'

git clone https://github.com/inferencekey/inferencekey-sdk.git
cd inferencekey-sdk/examples/carbon-x-dna-chat-vllm-private-nvidia
cp .env.example .env        # INFERENCEKEY_SDK_TOKEN (ik_sdk_), INFERENCEKEY_API_KEY (ik_live_),
                            # INFERENCEKEY_PROJECT, IK_WORKER_ID, optional INFERENCEKEY_BASE_URL
python -m venv .venv && . .venv/bin/activate
pip install maturin
( cd ../../bindings/python && maturin develop --release )
set -a; . ./.env; set +a
python main.py                  # 48 GB card, BF16
CARBON_FP8=1 python main.py     # 24 GB card, FP8