Carbon-X liest DNA auf einer 24-GB-Karte: 3 von 4 Labels richtig, die Begründungen nicht

Carbon-X hat 55 Buchstaben eines menschlichen Gens gelesen, das genau die eine Veränderung trägt, die hinter der Sichelzellanämie steckt, und sie als pathogen eingestuft. Auf einer unserer beiden Karten hat es seine Antwort danach mit dem falschen Buchstaben begründet.

Carbon-X ist das neue offene Modell von Hugging Face, das rohe DNA mitten in einem normalen Chat liest und auf Englisch antwortet. Wir haben es mit unveränderter Open-Source-Software auf einer RTX 4090 betrieben, einer Gaming-Karte mit 24 GB, in unserer Cloud. Auf dieser Karte hat es 75 % von 40 bekannten DNA-Veränderungen aus ClinVar, einer öffentlichen Gendatenbank, richtig als schädlich oder harmlos eingestuft (Autoren: 74,9 %). Ein Paar von Sequenzen mit je 4.096 Buchstaben hat es in etwa 2,5 Sekunden beantwortet. Wenn du eigene GPUs betreibst, ist das ein DNA-Spezialist, der unveröffentlichte Sequenzen auf deiner Maschine lässt und mit einem einzigen Befehl auf Standard-Serving-Software aus der Open-Source-Welt läuft. Nimm seine Labels schädlich oder harmlos als erste Sichtung. Seinen Erklärungen solltest du nicht trauen.

Das Bild zeigt einen einzelnen Lauf pro Karte. Beide hatten das Label richtig, und keine hat das Gen oder die Proteinveränderung genannt. Bei 20 Versuchen pro Karte lautete die Antwort 16-mal pathogen und 4-mal benign. Die 48-GB-Karte nannte in 12 von 20 Versuchen die falsche Base. Die Läufe mit geschrumpften Gewichten lagen in 16 und 18 von 20 richtig. Als wir den eingebauten Zufall des Modells abgeschaltet haben, sagte die 48-GB-Karte benign.

Ein Chatmodell, das DNA sechs Buchstaben auf einmal liest

Carbon-X ist keine neue Art von Modell, und genau deshalb war es leicht zu betreiben. Unter der Haube steckt Qwen3-14B, das offene Chatmodell mit 14.8B Parametern vom Qwen-Team, nachtrainiert auf DNA und biologischen Texten. Hugging Face hat auf dem Weg hinein eine Sache ergänzt: eine neue Art, DNA in Stücke zu schneiden, bevor das Modell sie liest.

Sprachmodelle lesen Text als Tokens, Stücke aus jeweils ein paar Buchstaben. Der übliche Schneideschritt von Qwen zerhackt DNA in seltsame Fragmente, lange Sequenzen kosten also viele Tokens. Carbon-X fügt den Tokens, die Qwen schon kennt, 5.515 DNA-Tokens hinzu. Die meisten davon (4.096) sind Blöcke aus sechs Buchstaben A, C, G und T, ein Token deckt also sechs Basen ab. Stell dir einen Gitarristen vor, der einen Lauf aus sechs Tönen als eine Griffform liest statt als sechs einzelne Noten.

Sechs Buchstaben pro Token sind der Grund, warum lange DNA hineinpasst. In unserem Test kamen zwei Sequenzen mit je 4.096 Buchstaben plus die Frage auf 1.445 Tokens. Die eigene Abbildung der Autoren zeigt eine kurze Frage mit einer Sequenz von 27 Buchstaben, die mit dem Qwen3-Tokenizer 20 Tokens braucht und mit dem von Carbon-X 13.

Du musst die DNA nicht selbst markieren. Jede Folge von sechs oder mehr Buchstaben A, C, G und T in deiner Nachricht wird automatisch als DNA markiert. Füg eine Sequenz in einen Satz ein und frag: Ist diese Variante schädlich, was macht diese Region, welche Basen kommen als Nächstes.

Der Haken beim Betrieb: Dieser Schneideschritt ist eigener Python-Code, der mit dem Modell ausgeliefert wird. Du musst der Serving-Software erlauben, Python aus dem Modell-Repository auf deiner eigenen Maschine auszuführen. Wir haben diese Datei zuerst gelesen: Sie nutzt nur gängige, weit verbreitete Python-Bibliotheken. Beim ersten Laden holt sie außerdem das Basisvokabular von Qwen von Hugging Face, die Maschine braucht dann also Internetzugang. Der Rest ist ein gewöhnliches 14B-Modell.

Hugging Face nennt 66,7 %, nah an GPT-6.1 Sol zu einem Bruchteil der Kosten

Die Kernaussage der Autoren, in ihrem Release-Blog und auf der Model Card, ist ein Durchschnitt von 66,7 % über fünf DNA-Benchmarks. GPT-6.1 Sol erreicht in derselben Tabelle 67,5 % und Opus 5.5 60,9 %. Hugging Face hat das eigene Modell mit 5 Dollar pro GPU-Stunde angesetzt, die anderen mit den regulären API-Preisen: Auf je 1.800 Dollar, die Sol kostet, kommt Carbon-X auf etwa einen. Der Untertitel des Blogs spricht stattdessen von 1.000x.

Die konkreteste Aussage betrifft ClinVar, die öffentliche Datenbank, in der Labore genetische Varianten einreichen und angeben, was jede davon ihrer Meinung nach bewirkt. Rund 2,4 Millionen ihrer Varianten haben noch eine unklare Bedeutung. Die Autoren schätzen, dass es etwa 300 Dollar kosten würde, sie alle einmal mit Carbon-X zu bewerten (ihr Diagramm zeigt 271), gegenüber 32.000 Dollar bis 4 Millionen mit Frontier-Modellen. Wir haben weder diese Schätzung noch die 66,7 % nachgemessen: Ihre Evaluationsdaten sind nicht öffentlich, also haben wir unser eigenes Set aus öffentlichen Quellen gebaut.

Aufgefallen ist uns Carbon-X in der AI-NEWS-Übersicht von AI Search vom 25. Oktober. Das Video sagt, Carbon-X schlage GPT-6.1 im Durchschnitt. Die eigene Tabelle der Autoren sieht es 0,8 Punkte hinter Sol. Die Model Card sagt, llama.cpp und GGUF-Runtimes würden nicht unterstützt, und doch läuft in der Blog-Demo der Autoren ein 8-Bit-GGUF auf einem MacBook mit 34 Tokens pro Sekunde. Den Weg über den Laptop haben wir nicht getestet.

Unser Test: zwei echte Karten, 120 öffentliche Fragen, die Einstellungen der Autoren

Wir haben Carbon-X auf zwei Karten in unserer Cloud betrieben. Ein Modell besteht vor allem aus seinen Gewichten, den 14,8 Milliarden Zahlen, die es gelernt hat. Der Hauptlauf nutzte eine RTX A6000 mit 48 GB und behielt jedes Gewicht in 16 Bit, dem nativen Format des Modells. Der zweite Lauf nutzte eine RTX 4090 mit 24 GB und schrumpfte jedes Gewicht beim Laden auf 8 Bit, was den Speicherbedarf fast halbiert. Beide Läufe gingen über unsere Plattform, so wie eine Anwendung sie aufrufen würde.

Das Fragenset hatte 120 Einträge, alle aus öffentlichen Daten. Vierzig waren echte ClinVar-Varianten in proteinkodierenden Genen, 20 harmlose und 20 schädliche, aus demselben Testset, das die Autoren nutzen. Das Modell sah nur die Referenzsequenz, die veränderte und unsere Frage, nie den Gennamen. Sechzig waren Multiple-Choice-Fragen aus GenomeQA dazu, was eine DNA-Region macht, zehn pro Aufgabe. Zwanzig fragten nach den nächsten 24 Basen eines menschlichen Gens.

Wir haben die Einstellungen der Autoren genutzt: kein schrittweises Nachdenken vor der Antwort und ein wenig Zufall in jeder Antwort. Zusätzlich sind wir mit abgeschaltetem Zufall gelaufen.

Eine Grenze vorweg: 40 und 60 Fragen sind kleine Stichproben. Bei 40 Varianten könnte ein Ergebnis von 77,5 % ehrlicherweise irgendwo zwischen etwa 64 % und 90 % liegen. Lies unsere Zahlen als „passt zu den Autoren oder nicht“, nicht als Rangliste.

Ergebnisse: Bei echten ClinVar-Varianten passen die Labels zu den Autoren

Carbon-X hat 77,5 % unserer 40 ClinVar-Varianten auf der 48-GB-Karte mit den Einstellungen der Autoren richtig eingestuft. Die Autoren melden 74,9 % bei allen 1.018 Varianten dieses Tests. Bei GenomeQA kam es auf 65,0 %, gegenüber 63,6 % bei den Autoren.

Im direkten Vergleich, mit abgeschaltetem Zufall, kam die 4090 auf 75,0 % gegenüber 80,0 %: zwei Varianten von 40, innerhalb des Rauschens. Ihre Antworten stimmten bei 36 von 40 Varianten und 57 von 60 Fragen mit denen der 48-GB-Karte überein. Den Zufall abzuschalten hat eine Antwort von 40 verändert. Was diese Zahlen begrenzt, ist die kleine Stichprobe.

Die Fehler gehen in eine Richtung. Auf der 48-GB-Karte hat das Modell 19 der 20 schädlichen Varianten erkannt, aber nur 12 der 20 harmlosen. Es hat also 8 von 20 harmlosen Varianten als schädlich markiert. Auf einer langen, echten Liste sind das viele harmlose Fälle, die ein Mensch prüfen muss.

Auf der 4090 kommt eine vollständige Variantenfrage zu zwei Sequenzen mit je 4.096 Buchstaben in 2,4 bis 2,6 Sekunden zurück, gegenüber 7,1 bis 7,5 auf der 48-GB-Karte in 16 Bit. Der größte Teil des Gewinns kommt von den 8-Bit-Gewichten: Mit ihnen hat sogar die 48-GB-Karte dieselbe Frage in etwa 4 Sekunden beantwortet.

Wo es bricht: Das Label hält, die Begründung nicht

Die Urteile sind brauchbar, aber die Erklärungen drumherum sind oft falsch, selbst wenn das Urteil stimmt. Das zählt, weil eine Chat-Antwort in flüssigem Englisch dazu einlädt, der Begründung zu vertrauen.

Bei einer echten ClinVar-Variante, in der ein T zu einem C wurde, gab es das richtige Label mit der Begründung „The variant changes C to C“. Mit 93 Basen des Beta-Globin-Gens hat es diese korrekt in Protein übersetzt und dann gesagt, das Gen sei PKM2, ein anderes Gen. Genau davor warnen die Autoren: Das Modell „can miscount bases, confuse coordinates“ und kann die Identität einer Sequenz erfinden.

Manche Aufgaben sind auch schwach. Bei zwei der sechs GenomeQA-Aufgaben kam es auf jeweils 3 von 10, etwa so schwach, wie die Autoren melden (29,8 % und 34,6 %). Nach den nächsten 24 Basen eines menschlichen Gens gefragt, traf es etwa 29 % der Basen, wo reines Raten auf 25 % kommt. Dieses Set ist unseres, nicht der NextBase-Benchmark der Autoren (39,4 %), die beiden sind also nicht direkt vergleichbar.

Es ist kein klinisches Werkzeug, und das sagen die Autoren selbst.

Welche GPU: eine RTX 4090 mit 24 GB und 8-Bit-Gewichten, nicht die 80-GB-Karte von der Modellseite

Die kleinste Karte, die funktioniert hat, war eine echte RTX 4090 mit 24 GB, mit auf 8 Bit geschrumpften Gewichten und Platz für 8.192 Tokens pro Unterhaltung. Sie kam in der Spitze auf 21,4 GB und antwortete schneller als die 48-GB-Karte (siehe Ergebnisse).

In voller 16-Bit-Präzision brauchst du eine 48-GB-Karte. Unsere RTX A6000 zeigte 40,6 GB belegt, und das meiste davon jenseits der Gewichte ist Platz, der für den Text laufender Unterhaltungen reserviert ist. Die 80 GB auf der Model Card, für eine Datei mit 29,6 GB, sind großzügig bemessen.

Das lief auf echter Hardware und das nicht:

• Echte Karten: RTX A6000 48 GB in 16 Bit (bestanden) und RTX 4090 24 GB in 8 Bit (bestanden).
• Simuliert durch Begrenzen des Speichers auf der 48-GB-Karte: Eine Grenze von 24 GB in 8 Bit hat bestanden (77,5 % und 65,0 %). Drei Versuche mit 16 GB sind gescheitert: Zwei starteten nicht, und einer schaffte ungefähr ein Token alle fünf Sekunden.
• Nicht ausprobiert: Karten mit 32 GB und 80 GB sowie mehrere andere Modelle mit 24 und 48 GB (Liste im Anhang).

Die Grenze von 8.192 Tokens auf der 4090 ist die Hälfte dessen, was wir auf der 48-GB-Karte genutzt haben. Das Tempo bei Prompts, die länger sind als unser Variantenpaar, haben wir nicht gemessen, und auch nicht in der Nähe der Grenze des Modells von 40.960 Tokens.

Auf InferenceKey: eine Befehlszeile, bereit in sechs Minuten auf einer kalten Karte

Von einem kalten 48-GB-Worker ohne vLLM und ohne Gewichte lief Carbon-X nach 356 Sekunden auf Standard-vLLM, der Open-Source-Serving-Software, mit einer einzigen Befehlszeile. Ein Fachmodell sollte keine eigene Engine brauchen, und dieses brauchte keine. Den Großteil der Wartezeit machten die Installation von vLLM (138 Sekunden) und das Aufwärmen der Engine (136 Sekunden) aus. Das Herunterladen von 30 GB Gewichten dauerte 22 Sekunden, das Laden 30. Die 4090 war nach 262,5 Sekunden bereit. Unser SDK-Beispiel deployt das Modell auf deiner GPU-Maschine, wartet darauf, stellt zwei Fragen von der Model Card und entfernt es wieder.

Zwei Einstellungen haben die Arbeit gemacht: eine feste vLLM-Version, mit der der Tokenizer nachweislich funktioniert, und schrittweises Nachdenken, das auf dem Server abgeschaltet ist, so wie die Autoren es trainiert haben.

Ein Problem zeigt sich in der Ausgabe. Antworten, die DNA enthalten, kommen in die wörtlichen Markierungen <dna> und </dna> gehüllt zurück, und die Aufräum-Option von vLLM entfernt sie nicht. Status: offen. Die README des Beispiels sagt dir, die Tags in deinem Parser zu entfernen.

Solltest du es nutzen? Ja für die Sichtung auf deiner eigenen Karte, nein für seine Erklärungen

• Wenn du viele Varianten nach wahrscheinlicher Schädlichkeit sortieren musst, setz es ein, aber nimm keine einzelne Antwort als endgültig. Das Sichelzellen-Urteil kippte mit abgeschaltetem Zufall zu benign. Auf der 4090 dauerten 120 Fragen, jeweils 8 gleichzeitig geschickt, 45,9 Sekunden, im Median 3,3 Sekunden pro Frage. Tokens pro Sekunde unter Last haben wir nicht gemessen.
• Wenn du wissen musst, warum, verlass dich nicht auf sein Wort. Positionen, Basen und Gennamen in seinen Erklärungen waren zu oft falsch. Berechne Positionen im Code.
• Wenn deine Sequenzen das Haus nicht verlassen dürfen, ist es Apache-2.0, nicht gated und läuft auf einer einzigen 24-GB-Karte, die du kontrollierst.
• Wenn deine Karte 16 GB hat, lass es vorerst. Kein vLLM-Setup, das wir probiert haben, hat funktioniert.

Um Carbon-X die beiden DNA-Fragen der Autoren auf deiner eigenen NVIDIA-Karte zu stellen, starte python main.py aus dem Carbon-X-SDK-Beispiel. Du brauchst ein InferenceKey-Projekt mit einem SDK-Token und einem API-Key. Außerdem brauchst du eine NVIDIA-Maschine mit einem CUDA-13-Treiber (580 oder neuer) und 48 GB, oder 24 GB mit CARBON_FP8=1, dazu Zugriff auf Hugging Face beim ersten Laden. Am Ende löscht es das Deployment.

# 48 GB card, BF16 (main run)
vllm serve HuggingFaceBio/Carbon-X --trust-remote-code --dtype bfloat16 \
  --max-model-len 16384 \
  --default-chat-template-kwargs '{"enable_thinking": false}'

# 24 GB card, FP8 at load (what CARBON_FP8=1 sends)
vllm serve HuggingFaceBio/Carbon-X --trust-remote-code --dtype bfloat16 \
  --max-model-len 8192 --quantization fp8 \
  --default-chat-template-kwargs '{"enable_thinking": false}'

git clone https://github.com/inferencekey/inferencekey-sdk.git
cd inferencekey-sdk/examples/carbon-x-dna-chat-vllm-private-nvidia
cp .env.example .env        # INFERENCEKEY_SDK_TOKEN (ik_sdk_), INFERENCEKEY_API_KEY (ik_live_),
                            # INFERENCEKEY_PROJECT, IK_WORKER_ID, optional INFERENCEKEY_BASE_URL
python -m venv .venv && . .venv/bin/activate
pip install maturin
( cd ../../bindings/python && maturin develop --release )
set -a; . ./.env; set +a
python main.py                  # 48 GB card, BF16
CARBON_FP8=1 python main.py     # 24 GB card, FP8