Clover-35B-A3B auf einer RTX 4090: 208 Tokens/s, aber nicht als Diffusionsmodell

„Add support for DiffuSpace's Clover-35B-A3B-Preview, in AR mode only.“ Diese Zeile wurde diese Woche in llama.cpp gemergt, das verbreitete freie Programm, mit dem man Modelle selbst betreibt. Diese Einschränkung bestimmt dein Tempo. AR heißt schlichtes Schreiben, ein Token nach dem anderen. Clover ist ein offenes Diffusions-Sprachmodell, gebaut, um Textblöcke parallel zu schreiben, nicht Wort für Wort. Wir haben die offizielle komprimierte Datei mit dem unveränderten llama.cpp auf eine einzige RTX 4090 gebracht. Nach einer Korrektur der Datei, die 17 Sekunden dauerte, schrieb es etwa 208 Tokens (Wortteile) pro Sekunde, eine Seite Text in etwa drei Sekunden. Es las auch Prompts mit bis zu 128K Tokens (ein kurzer Roman) und belegte dabei 21,4 der 24 GB der Karte. Die 515 und 680 Tokens pro Sekunde der Autoren stammen von größeren Karten und dem vollen Modell, und der Parallel-Trick steckt nicht in diesem Code. Clover ist heute einen Versuch auf einer einzelnen 24-GB-Karte wert. Kauf noch keine Hardware wegen des Diffusionstempos.

Ein Modell, das Textblöcke ausfüllt, statt Wort für Wort zu tippen

Clovers Versprechen ist Tempo, und das kommt von der Art, wie es schreibt. Ein gewöhnliches Sprachmodell arbeitet wie eine Schreibkraft. Es erzeugt ein Token, dann das nächste, und jedes wartet auf das vorherige. Clover wurde darauf trainiert, eher wie jemand zu arbeiten, der ein Kreuzworträtsel löst. Es legt einen Block aus 32 leeren Feldern an. In jedem Durchgang füllt es alle Felder, bei denen es sich zu mindestens 95 % sicher ist, auf einmal aus, und kommt für den Rest zurück. Weniger Durchgänge pro Block bedeuten mehr Text pro Sekunde, aber nur, wenn die Software, die es ausführt, das Kreuzworträtsel auch löst.

Das Modell selbst ist DiffuSpaces erste Veröffentlichung. Teammitglieder kommen aus der Gruppe der University of Hong Kong hinter Dream 7B, einem früheren Diffusionsmodell. Clover ist von Qwen3.6-35B-A3B abgeleitet, einem offenen Modell des Qwen-Teams von Alibaba. Es hat insgesamt 35 Milliarden Parameter, aber nur etwa 3 Milliarden arbeiten an jedem Token. Stell dir ein Team aus 256 Spezialisten vor: Jedes Wort fragt 8 von ihnen plus einen Generalisten, und der Rest wartet im Hinterzimmer. Deshalb kann ein so großes Modell schnell sein. Es liest bis zu 131.072 Tokens aus Prompt und Antwort zusammen (die „128K“). Die Lizenz ist Apache-2.0, kommerzielle Nutzung ist also in Ordnung.

DiffuSpaces Blog macht starke Aussagen zum Tempo. Auf einer NVIDIA H200, einer Rechenzentrumskarte, meldet er 515 Tokens pro Sekunde bei Agentenaufgaben, gegen 365 für ein beschleunigtes Qwen-Modell ähnlicher Größe. Auf einer neueren GB300-Rechenzentrumskarte meldet er 680. Beides gilt für eine Anfrage nach der anderen, mit dem vollen, unkomprimierten Modell. Der Blog sagt nicht, welche Software sie ausgeführt hat oder in welchem Modus. Er meldet außerdem starke Ergebnisse in Coding-Tests.

Ihre anschaulichste Demo ist eine Drohnen-Disposition: eine zusammengesetzte Nachricht mit fünf Aufgaben. In ihrer Demo hat Clover alle fünf in 0,97 Sekunden richtig, während ein Qwen-Modell 3,78 Sekunden braucht und den Kartierungsauftrag einer Drohne für einen medizinischen hält. Wir haben dieselbe Idee laufen lassen: Unsere Läufe brauchten 2,1 bis 2,3 Sekunden gegen ihre 0,97, auf einer 4090 mit einer komprimierten Datei im Ein-Token-Modus, es ist also kein Vergleich unter gleichen Bedingungen.

Die Engine, die es auf einer 24-GB-Karte ausführt, tippt ein Token nach dem anderen

Auf einer 24-GB-Karte mit llama.cpp läuft Clover als gewöhnliches Modell. Das ist kein Fehler in unserem Setup. Genau das sagt der gemergte Code, dass er tut.

Von den drei Wegen, die DiffuSpace aufführt, hat nur llama.cpp fertigen Support, der in 24 GB passt. Dieser Support, Pull Request #31306 von Maphist0, wurde am 2. November gemergt und kam mit dem Release vom 4. November, v0.9.0. Dessen Notes führen „Clover-35B-A3B-Preview diffusion model, AR mode“ auf: die Schreibkraft. Ein späterer Pull Request soll einen schnelleren Modus hinzufügen, der Blöcke parallel entwirft. Einen solchen offenen Pull Request haben wir in llama.cpp nicht gefunden.

Die Setup-Schritte auf der Modellseite verwenden genau diese fehlende Beschleunigung, eine selbstspekulative Option, die v0.9.0 nicht enthält. Wir haben sie nicht ausgeführt.

Die schnelleren Modi gibt es an zwei anderen Stellen, keine davon einfach auf einer einzelnen Gaming-Karte:

• DiffuSpaces eigener Python-Code macht das volle blockweise Ausfüllen. Er braucht allein für die Gewichte etwa 69 GB, in voller Präzision. Das heißt eine Rechenzentrumskarte mit 80 GB.
• Ein Pull Request an SGLang, ein weiteres freies Serving-Programm (#46927, von Zirui Wu), fügt den Modus Raten-dann-Prüfen hinzu. Das Modell entwirft einen ganzen Block in einem parallelen Durchgang und prüft den Entwurf dann auf die gewöhnliche Weise. Er ist noch offen, wartet auf ein Review, und seine Testsuite ist noch nicht gelaufen. Seine eigene Validierung meldet 453,59 Tokens pro Sekunde für eine Anfrage auf einer H200.

Also haben wir gemessen, was du auf einer Karte mit Code, den du heute installieren kannst, tatsächlich bekommst.

Die offizielle Datei brauchte einen 17-Sekunden-Patch, bevor sie „Canberra“ antwortete

Nach einem kleinen Patch lädt die offizielle Datei im unveränderten llama.cpp und antwortet richtig. Ohne ihn läufst du in der ersten Minute gegen eine Wand.

Wie veröffentlicht weigert sich llama.cpp v0.9.0, die Datei zu laden. Es bricht ab mit key not found in model: clover_moe.expert_shared_count. Wir haben nur diesen fehlenden Eintrag ergänzt und es erneut versucht. Das Modell lud, und auf „What is the capital of Australia? One word.“ antwortete es mit 600 Kopien des Buchstabens G, ein einziger Ton, gehalten wie Gitarren-Feedback.

Die Ursache: DiffuSpace hat seine Dateien mit einem eigenen Build von llama.cpp geschrieben, dem mit der Beschleunigung. Die Datei weicht in drei kleinen Punkten von dem ab, was llama.cpp erwartet. Ihr fehlt dieser eine Eintrag. Sie trägt 120 zusätzliche Teile, die nur der Diffusionsmodus nutzt. Und in jeder von 30 Schichten speichert sie einen kleinen Satz Zahlen in einer anderen mathematischen Form.

Unser Skript, patch_gguf.py, behebt alle drei. Es kopiert jedes andere Byte unverändert, das Modell wird also nicht neu komprimiert. Auf der Datei mit 19,6 GB dauerte das 17 Sekunden. Danach lautete die Antwort Canberra.

Status: in unserem SDK-Beispiel behoben, in DiffuSpaces Dateien und in llama.cpp weiterhin offen. Die gepatchte Datei haben wir nur mit llama.cpp v0.9.0 getestet.

Etwa 208 Tokens pro Sekunde auf einer RTX 4090, und das ganze 128K-Fenster passt

Mit der gepatchten Datei schrieb Clover 202 bis 211 Tokens pro Sekunde für eine Anfrage, und das erste Token kam nach 0,13 bis 0,31 Sekunden zurück.

In diesem Modus sind 208 Tokens pro Sekunde das Tempo der Schreibkraft, nicht das des Kreuzworträtsels. Die Basis Qwen3.6-35B-A3B haben wir auf dieser Karte nicht laufen lassen, wir wissen also nicht, ob Clover in diesem Modus schneller oder besser ist als seine Basis.

Zwei raue Stellen, die dir auffallen werden:

• Es denkt immer zuerst nach. Bei „Canberra“ ist das eine kurze Notiz an sich selbst. Ein Essay mit 400 Wörtern brauchte 22,7 Sekunden und 4.665 Tokens, die meisten davon fürs Nachdenken. Den Schalter, mit dem man das Nachdenken abschaltet, reicht unser Endpoint noch nicht durch. Das ist eine bekannte Lücke auf unserer Seite, weiterhin offen.
• Beim generierten Taschenrechner ist die Taste „=“ abgeschnitten. Das Fenster ist zu kurz, also ist die halbe Taste verdeckt. Die Seite kam zweimal byte-identisch heraus, Fehler inklusive.

Welche GPU: 24 GB schaffen alles, ein Budget von 16 GB lief mit halbem Tempo

Jedes Speicherbudget hat richtig geantwortet, und ein Budget von 16 GB behielt etwa das halbe Tempo.

Der Trick für kleinere Karten ist das Hinterzimmer aus dem Bild mit den Spezialisten. llama.cpp kann die Experten einiger Schichten im Hauptspeicher des Rechners (RAM) halten statt auf der Karte. Jedes Wort besucht sie trotzdem, also wird es langsamer, aber die Karte braucht weniger Speicher.

Die Zeile mit 16 GB ist die Entscheidungslinie. Sie passt in 15.456 MiB und schreibt immer noch etwa 102 Tokens pro Sekunde, die Drohnen-Disposition dauerte also 4,4 Sekunden statt 2,2. Die Budgets mit 12 GB und 8 GB haben ebenfalls jede Frage richtig beantwortet, nur langsamer.

Die mit „nein“ markierten Zeilen liefen auf derselben 4090 mit begrenztem Speicher, lies sie also als Speichermessung, nicht als Tempoversprechen. Auf einer echten 16-GB-Karte in einem kleineren Desktop hängt das Tempo vom Prozessor und Speicher dieser Maschine ab. Du brauchst außerdem genug RAM für die Experten, die du von der Karte auslagerst. Ein Ergebnis von einer echten 16-GB- oder 12-GB-Karte haben wir nicht.

DiffuSpace meldet 101,8 Tokens pro Sekunde auf einer RTX 5070 Ti mit 16 GB, neben unseren 102. Die Übereinstimmung ist Zufall: eine andere Karte, eine andere Kompression, eine ungenannte Engine.

Auf InferenceKey: ein Versions-Pin, ein Datei-Patch, ein erster Build von fünf Minuten

Unser Standard-Setup mit llama.cpp hat ein Modell betrieben, dessen Support drei Tage alt war. Den Code der Plattform haben wir nicht geändert. Wir haben eine Version gesetzt, die Datei gepatcht und dem Worker drei CUDA-Build-Einstellungen gegeben, die er noch nicht selbst setzt (auf unserer Seite offen, im SDK-Beispiel aufgeführt).

Auf InferenceKey ist ein Worker das kleine Programm auf deiner GPU-Maschine, das Aufträge von der Plattform annimmt. Unser Worker baut llama.cpp selbst. Seine Standardversion ist älter und kennt Clover nicht. Also haben wir ihm gesagt, Version v0.9.0 zu verwenden, und der Worker hat beim ersten Mal genau dieses Release für die GPU gebaut. Dieser Build dauerte 4 min 50 s. Danach lieferte die Plattform auf Anfrage nach dem Modell in 11,7 Sekunden einen bereiten Endpoint.

Ab da ist es dieselbe API im OpenAI-Stil wie bei jedem anderen Modell auf der Plattform. Die Drohnenaufträge, die Tool-Calls und die Desktop-Seite oben liefen alle darüber. Dieser Lauf nutzte unsere eigene Kopie der InferenceKey-Plattform, mit demselben Code wie der gehostete Dienst. Den gehosteten Endpoint haben wir nicht aufgerufen, betrachte diesen Weg also als ungetestet. Unser Beispielprogramm schickt das Modell auf eine Maschine, die du benennst, die Inferenz läuft also auf deiner eigenen Hardware. Die Anfragen gehen trotzdem über die Plattform, gehostet oder deine eigene Kopie.

Solltest du es nutzen? Ja als Agentenmodell auf 24 GB, noch nicht wegen des Diffusionstempos

• Du willst ein offenes Agentenmodell auf einer einzelnen 24-GB-Karte: einen Versuch wert. Spiel zuerst den Patch ein und vergleiche es auf deinen eigenen Aufgaben mit seiner Qwen-Basis.
• Du hast eine 16-GB-Karte: wahrscheinlich, mit den Experten im RAM, mit etwa halbem Tempo.
• Du willst das Diffusionstempo, das der Blog zeigt: heute nicht auf llama.cpp. Behalte den SGLang-Pull-Request im Auge oder nutze DiffuSpaces eigenen Python-Code auf einer 80-GB-Karte.
• Dir sind die Benchmark-Ergebnisse wichtig: Sie stammen vom Hersteller und gelten im Ein-Token-Modus vielleicht nicht. Wir haben ein paar eigene Prompts probiert, und alle kamen richtig zurück: ein Anfang, kein Beweis.

Um dasselbe Deployment, dieselbe Drohnen-Disposition und dieselbe Desktop-Seite auf deiner eigenen Karte laufen zu lassen, führe python main.py aus dem Clover-35B-A3B-SDK-Beispiel aus. Dafür brauchst du ein InferenceKey-Projekt mit einem SDK-Token und einem API-Key. Außerdem brauchst du einen privaten NVIDIA-Worker mit 24 GB, auf dem die Datei einmal mit dem patch_gguf.py des Beispiels gepatcht wurde.

pip install -U "huggingface_hub[hf_xet]" gguf numpy
hf download Diffuspace/Clover-35B-A3B-Preview-GGUF Clover-35B-A3B-Preview-Q4_0.gguf --local-dir /root/models
curl -LO https://raw.githubusercontent.com/inferencekey/inferencekey-sdk/main/examples/clover-35b-a3b-llamacpp-private-nvidia/patch_gguf.py
python ./patch_gguf.py /root/models/Clover-35B-A3B-Preview-Q4_0.gguf /root/models/Clover-35B-A3B-Preview-Q4_0-ar.gguf

CUDACXX=/usr/local/cuda/bin/nvcc
PATH=/usr/local/cuda/bin:$PATH
CMAKE_BUILD_PARALLEL_LEVEL=<cores>

git clone https://github.com/inferencekey/inferencekey-sdk
cd inferencekey-sdk/examples/clover-35b-a3b-llamacpp-private-nvidia
cp .env.example .env      # INFERENCEKEY_SDK_TOKEN, INFERENCEKEY_API_KEY, INFERENCEKEY_PROJECT, IK_WORKER_ID
pip install -r requirements.txt   # plus the local SDK build with maturin, see ../CONTRIBUTING.md
python main.py            # IK_KEEP_ALIVE=1 keeps the workload afterwards

INFERENCEKEY_LLAMACPP_TAG=v0.9.0 llama-server -m /root/models/Clover-35B-A3B-Preview-Q4_0-ar.gguf \
  --alias clover-35b-a3b -ngl 99 -fa on -c 16384 --jinja --reasoning-format deepseek \
  --presence-penalty 0.9 --repeat-penalty 1.05