Mit zwei Agenten pro Power-User trägt eine 4x-B200-Maschine die Claude-Code-Last von rund 200 Abos, für rund 30 % weniger

Kann eine einzige Maschine die Claude-Code-Arbeit von 200 Abos leisten? Gemessen haben wir 100 Agenten. Die 200 sind aus diesen Läufen modelliert. Ein Server mit vier NVIDIA-B200-Grafikkarten in der inferencekey Cloud hat DeepSeek V4.1 Flash auf DeepInfer betrieben, der Engine, die DeepSeek im Oktober als Open Source veröffentlicht hat. Wir haben das Teil ergänzt, ohne das die Engine ausgeliefert wird: einen Cache. Hundert synthetische Agenten, so dimensioniert wie echte Claude-Code-Sessions, arbeiteten gleichzeitig, jeder mit fast einer halben Million Tokens Gesprächsverlauf. Die Hälfte ihrer Antworten begann innerhalb von etwa 2,5 Sekunden, und keine einzige Anfrage schlug fehl. Ein auf diesen Läufen kalibrierter Simulator setzt die Maschine bei etwa 400 gleichzeitigen Agenten an. Wenn deine Power-User je zwei Agenten nutzen, ist das die Last von rund 200 Abos, für rund 30 % weniger.

200 Abos setzen 2 gleichzeitige Agenten pro Power-User voraus (400 Agenten, modelliert). Wäre jeder Nutzer so intensiv wie unser Referenznutzer, ergibt der Simulator etwa 80.

Ein Coding-Agent liest vor allem erneut, und der Cache macht das erneute Lesen fast kostenlos

Jedes Mal, wenn Claude Code einen Schritt macht (eine Datei öffnen, einen Test ausführen, eine Zeile ändern), schickt es dem Modell erneut das ganze Gespräch. In unseren Tests waren das etwa 450.000 Tokens, ungefähr ein Buch mit 1.300 Seiten. Das Modell schreibt ein paar hundert Tokens Antwort, und beim nächsten Schritt schickt der Agent wieder das ganze Buch, plus eine neue Seite.

In unserem letzten Research-Beitrag haben wir einen sehr intensiven Entwickler einen Monat lang gemessen und dasselbe gefunden: 96,8 % dessen, was sein Agent las, hatte er schon einmal gelesen. Stell dir ein Regal neben dem Modell vor. Was es einmal gelesen hat, bleibt im Regal, und beim nächsten Mal nimmt es das fertig heraus, statt es neu zu lesen.

DeepInfer wird ohne dieses Regal ausgeliefert. Auf DeepSeeks eigener Projektseite steht der Cache unter den Teilen, die man selbst bauen muss. Ohne ihn las unsere Maschine weniger als ein halbes Buch pro Sekunde, jedes Gespräch von vorn. Mit dem inferencekey Cache las sie vier Bücher pro Sekunde. Die Rechnung für Coding-Agenten ist vor allem eine Rechnung für erneutes Lesen, und wer das Regal hat, bestimmt den Preis.

Gleiche Maschine, gleiches Modell: Der Cache macht aus rund 200 K gelesenen Tokens pro Sekunde rund 1,8 M.

Claude Code braucht nur ein paar Umgebungsvariablen und hat eine echte Aufgabe in 39 Sekunden erledigt

Ein paar Umgebungsvariablen sagen Claude Code, wohin es seine Anfragen schicken, welchen Key es nutzen und welches Modell es anfragen soll. Richte sie auf deinen inferencekey Endpoint, und es spricht mit DeepSeek V4.1 Flash statt mit Anthropic, mit denselben Befehlen und denselben Tools.

Umgebungsvariablen richten Claude Code auf deinen Endpoint. Der inferencekey Cache hält jedes Gespräch im GPU-Speicher und im RAM.

Das Regal hat zwei Böden. Der schnelle liegt im Speicher der Grafikkarten selbst und fasst etwa 57 Millionen Tokens, ungefähr 120 Gespräche unserer Größe. Dahinter liegt ein zweiter Boden im normalen Arbeitsspeicher des Servers, etwa zehnmal größer mit 617 Millionen Tokens, für Gespräche, die gerade einen Moment ruhen.

Am 24. Oktober hat Claude Code 2.1.310, so eingerichtet, eine kleine echte Aufgabe in 39 Sekunden erledigt. Die Aufgabe war, eine Funktion namens parse_duration so zu implementieren, dass eine Datei mit 15 Tests durchläuft. Der Agent machte 14 Tool-Aufrufe (Dateien lesen, Tests ausführen, Code ändern), und alle 15 Tests liefen durch.

Claude Code 2.1.310, unverändert, auf unserem Endpoint: eine echte Aufgabe in 39 s mit 14 Tool-Aufrufen und 15 von 15 grünen Tests. Eine kleine Aufgabe, kein Benchmark.

Die Szene im Video oben zeigt die echte App, die diese Aufgabe noch einmal erledigt. Sie spielt die an jenem Tag aufgezeichneten Modellantworten ab, während die Tools wirklich laufen.

Der Verdienst ist geteilt. DeepSeeks Team hat DeepSeek V4.1 Flash trainiert, DeepInfer geschrieben und es unter der Apache-2.0-Lizenz veröffentlicht. NVIDIAs Tool aiperf hat unseren Simulator unter Last getestet. Anthropics Claude Code lief obendrauf. Unser Teil ist der Cache, der Adapter, mit dem inferencekey DeepInfer betreibt, die API, die die Sprache von Claude Code mit deinen eigenen Keys spricht, und die Messungen.

100 Agenten mit je einer halben Million Tokens: Die Hälfte der Antworten beginnt in 2,5 Sekunden, null Fehler

Mit 100 gleichzeitigen Agenten, jeder mit etwa 450.000 Tokens schon im Regal, begann die Hälfte der Antworten innerhalb von 2,55 Sekunden, und keine schlug fehl. Das ist die Größe einer langen Claude-Code-Session am Ende des Tages. Wir haben den Lauf am 25. Oktober gemacht, und in einem Fenster von einer Minute bediente die Maschine 237 Agenten-Turns. Die Antwort jedes Agenten kam mit etwa 135 Tokens pro Sekunde, eine Seite in wenigen Sekunden.

100 Agenten, Cache warm: 0 Fehler und Antworten, die in etwa 2,5 s beginnen. Die langsamsten 5 % warten hinter neuen 450K-Gesprächen und verfehlen das 15-s-Ziel.

Jetzt der Teil, der nicht bestanden hat. Unsere Latte ist streng: 95 % der Turns müssen innerhalb von 15 Sekunden mit der Antwort beginnen. Nur 2 unserer 8 Testläufe haben das geschafft. Alle 8 hatten null Fehler. In diesem Lauf begannen 83 % der Turns, deren Gespräch schon im Regal lag, innerhalb von 15 Sekunden. Die langsamsten 5 % warteten 37 Sekunden oder länger, also hat der Lauf nicht bestanden. In dieser Minute kamen sieben brandneue Gespräche an, und jedes musste seine vollen 450.000 Tokens von vorn lesen. Die wartenden Turns standen hinter ihnen in der Schlange, wie eine Band, die wartet, bis die vorige ihr ganzes Equipment abgebaut hat. Turns, die schon im Regal liegen, Vorrang zu geben oder zu begrenzen, wie viele neue Gespräche gleichzeitig starten, würde wahrscheinlich helfen. Getestet haben wir das nicht.

Stresstest aus dem Kalten: 176 Millionen Tokens in unter 15 Minuten von Grund auf gelesen, null Fehler

Mit leerem Regal las die Maschine Gespräche von Grund auf mit gleichmäßig 200.000 Tokens pro Sekunde, ohne einen einzigen Fehler. Am 24. Oktober haben wir ihr 399 neue Gespräche mit je etwa 440.000 Tokens gegeben, 16 auf einmal, mit leerem Cache. Das ist härter als jeder echte Morgen, an dem Sessions klein anfangen.

In 14,6 Minuten waren 397 davon vollständig gelesen und antworteten: 176 Millionen Tokens. Ab dem Moment gezählt, in dem jedes eingelassen wurde, kam die erste Antwort nach etwa 14 Sekunden (Median). Ab dem Start des Tests gezählt, wartete die Hälfte mehr als sechs Minuten und das letzte fast 15. Die letzten zwei standen noch in der Schlange, als unser 15-Minuten-Limit ablief. Käme ein ganzes Team gleichzeitig mit riesigen Gesprächen, wäre die Schlange das Problem, nicht Fehler.

Stresstest ohne Cache-Inhalt: 397 Gespräche mit 440K Tokens, 176 M Tokens in unter 15 Minuten von Grund auf gelesen, 0 Fehler.

Im Alltag passen etwa 400 Agenten, laut einem Simulator auf Basis von 7.879 echten Turns

Alles bisher ist gemessen. Dieser Abschnitt ist modelliert, und der Unterschied zählt.

Etwa 250 Agenten passen, wenn 95 % der Antworten innerhalb von 15 Sekunden beginnen müssen, etwa 400, wenn 30 Sekunden in Ordnung sind. Bei 400 braucht eine typische Antwort etwa 21 Sekunden bis zum Start, und 1 von 20 wartet etwa 30 Sekunden oder länger.

Modelliert: Ein auf 7.879 echten Turns kalibrierter Simulator schafft 250 Agenten, wenn 95 % der Antworten innerhalb von 15 s beginnen, und 400 innerhalb von 30 s.

Unsere gemessenen Tests waren absichtlich hart: Jeder Agent pausierte nur drei Sekunden zwischen den Schritten. Echte Sessions sind ruhiger, also haben wir einen Simulator dieser Maschine gebaut. Wir haben ihn mit jedem Turn aus beiden Testkampagnen kalibriert, bis er reproduzierte, was die echte Maschine tat, einschließlich ihres Bruchpunkts. Dann haben wir ihn mit 30 Tagen Claude-Code-Nutzung unseres Referenznutzers gefüttert: 140.300 Modellaufrufe mit ihren echten Pausen.

Die Maschine leistet bei 400 nicht mehr als bei 250. Sie beantwortet in beiden Fällen etwa 450 Modellaufrufe pro Minute. Mit mehr Agenten wartet jeder einfach länger und ruft seltener auf, alle 52 Sekunden statt alle 34.

200 Abos, wenn Power-User je zwei Agenten nutzen, und unter etwa 140 kostet die Maschine mehr

Die 200 im Titel beruhen auf einer Annahme: Ein Power-User nutzt zwei Agenten gleichzeitig, den ganzen Tag. Die 400 Agenten des Simulators geteilt durch zwei ergeben etwa 200 Abos.

Der Haken ist die Geschwindigkeit. Bei Claude rufen die Agenten unseres Referenznutzers das Modell im Schnitt alle 27 Sekunden auf. Bei 400 Agenten auf dieser Maschine ruft jeder alle 52 Sekunden auf. Eine Aufgabe würde fast doppelt so lange dauern.

Man kann auch strenger zählen. Unser Referenznutzer ist einer unserer sehr intensiven Nutzer. In einer durchschnittlichen Spitzenstunde ruft er das Modell etwa alle 11 Sekunden auf. Bei 450 Aufrufen pro Minute hält die Maschine etwa 80 Leute wie ihn auf voller Geschwindigkeit. Die Maschine kostet erst ab etwa 140 Abos weniger als Claude-Max-20x-Abos. Bei der strengeren Zählung von 80 kostet sie 27.900 USD pro Monat gegenüber 16.000 für Abos, rund 75 % mehr.

Unser Referenznutzer ist allerdings nicht typisch. Neben seinen eigenen Sessions betreibt er autonome Agenten für Workflows und Geschäftsaufgaben, also belastet ein gewöhnlicher Claude-Max-Nutzer die Maschine weniger. Die Claude-Code-Logs deines Teams zeigen dir, wo ihr steht.

Etwa 0,006 USD pro Million Tokens, 80-mal weniger als die Claude API

Der andere Vergleich ist die API. Der echte Claude-Code-Monat unseres Referenznutzers, zu den Listenpreisen der Claude API bepreist, kam auf 12.365 USD für 26,2 Milliarden Tokens, also 0,47 USD pro Million. Die Maschine ist pro gelesenem Token etwa 80-mal günstiger. Das beruht auf den 1,8 Millionen Tokens pro Sekunde aus einer ausgelasteten Minute unseres härtesten Tests, gestreckt auf alle 730 Stunden eines Monats, also sieh es als besten Fall.

27.900 USD pro Monat bei 1,8 M Tokens pro Sekunde sind etwa 0,006 USD pro Million Tokens. Das ist rund 80-mal weniger als ein echter intensiver Monat auf der Claude API.

Der Vergleich ist fair, weil beide Seiten vor allem erneut lesen: 96 % aus dem Cache in unserem Test, 96,8 % im echten Claude-Monat. Ein Team, das nachts schläft, zahlt mehr pro nützlichem Token. Die 30 % und das 80-fache beantworten verschiedene Fragen, also multipliziere sie nicht.

Qualität: Platz eins bei LiveBench Agentic Coding, und Antworten aus dem Cache stimmen mit frischen überein

In einem externen Coding-Benchmark liegt DeepSeek V4.1 Flash auf Platz eins. LiveBench hat eine Kategorie Agentic Coding, in der ein Modell eine echte Programmieraufgabe Schritt für Schritt erledigen muss. Am 10. Oktober erreichte DeepSeek V4.1 Flash 77,3 und lag auf Platz eins von 69 Modellen. Claude Opus 5.5 erreichte 71,7. Diesen Benchmark haben wir nicht selbst ausgeführt.

LiveBench Agentic Coding (livebench.ai, 10.10.2026): DeepSeek V4.1 Flash 77,3 gegen Claude Opus 5.5 71,7. Externer Benchmark, nicht von uns gemessen.

Ein breiterer Index von Artificial Analysis zeigt in die andere Richtung: Opus 5.5 kommt auf 58, Flash auf 39. Für ein Team, das von Opus wechselt, ist diese Lücke der ehrliche Vorbehalt, also teste Flash mit deinen eigenen Aufgaben, bevor du umsteigst.

Unsere eigene Prüfung ist, dass das Regal die Antworten nicht verändert. Wir haben eine Tatsache in einem langen Dokument versteckt, bis zu 200.000 Tokens, und zweimal danach gefragt: einmal von Grund auf gelesen, einmal aus dem Cache bedient. Fünf von fünf Dokumenten lieferten auf beiden Wegen dieselbe richtige Antwort. Die Cache-Version antwortete in unter einer Sekunde. Das Dokument mit 200.000 Tokens brauchte von Grund auf gelesen 13 Sekunden.

Diese Prüfung hat ihren Platz verdient. Eine frühere Version unseres Adapters bediente gar nichts aus dem Cache, und diese Prüfung hat das erwischt, bevor ein Lasttest lief. Wir haben es behoben, und die korrigierte Version bediente Wiederholungen zu 95 bis 99 % aus dem Cache. Jede gemessene Zahl in diesem Beitrag stammt von ihr.

Dein Code geht dorthin, wo du entscheidest

Mit Claude oder mit DeepSeeks API landen dein Code und die Daten, die er berührt, bei einem Modellanbieter. Mit inferencekey auf deinen eigenen GPUs verlässt er nie dein Netzwerk. Mit der inferencekey Cloud, in der diese Tests liefen, geht er an unsere GPUs, nicht an Anthropic oder OpenAI. In beiden Fällen bleiben die API-Keys auf deiner Seite, in deinem Netzwerk. Wenn einer leakt, rotierst du ihn dort. Preis und Tests hier gelten für die inferencekey Cloud. Den On-Premise-Fall haben wir weder bepreist noch getestet.

200 Agenten mit 500K überlaufen den schnellen Boden, also sind etwa 120 die Obergrenze bei dieser Größe

Bei Gesprächen mit 500.000 Tokens ist der schnelle Boden die Obergrenze. Mit 200 Agenten, die alle gleichzeitig fragten, passten ihre Gespräche nicht in den Speicher der Grafikkarten. Der Lauf brach ein: Die Hälfte der Antworten brauchte über zwei Minuten bis zum Start. Nichts ging verloren und nichts schlug fehl, aber es war unbrauchbar. Bei diesem harten Tempo lassen sich etwa 120 Gespräche dieser Größe gleichzeitig bedienen.

Die meisten Tests haben die inferencekey API übersprungen und die Engine direkt aufgerufen. Der eine, der sie nutzte, hatte null Fehler, aber seine langsamsten Antworten brauchten 22 Sekunden bis zum Start, nicht 15. Es war ein einziges kurzes Fenster, also können wir noch nicht sagen, was der zusätzliche Hop bei langen Gesprächen kostet.

Lohnt sich ab etwa 140 Abos, wenn langsamere Antworten zur Spitzenzeit akzeptabel sind

Ab etwa 140 Claude-Max-20x-Abos ist eine Maschine eine feste Rechnung ohne Nutzungsgrenze pro Person. Die Obergrenze ist geteilt, etwa 400 Agenten, und du behältst Claude Code. Unter etwa 140 kosten Abos weniger. Wenn dein Code das Gebäude nicht verlassen darf, läuft dasselbe Setup auch auf deinen eigenen GPUs. Wenn du zehn Entwickler hast, sind Abos oder DeepSeeks API weiterhin die einfachere Wahl.

Selbst ausprobieren

Folge der Anleitung zu DeepInfer auf 4x B200, um DeepSeek V4.1 Flash bereitzustellen und Claude Code darauf zu richten. Du brauchst vier B200-Karten oder einen Workload in der inferencekey Cloud, und einen inferencekey API-Key. Mit den Gewichten auf der Platte war unser Workload in unter zwei Minuten bereit.

export ANTHROPIC_BASE_URL=https://api.inferencekey.com/endpoint/<project>/<workload>
export ANTHROPIC_AUTH_TOKEN=ik_live_...
export ANTHROPIC_MODEL=deepseek-v4.1-flash
export ANTHROPIC_DEFAULT_HAIKU_MODEL=deepseek-v4.1-flash
export ANTHROPIC_DEFAULT_SONNET_MODEL=deepseek-v4.1-flash
export ANTHROPIC_DEFAULT_OPUS_MODEL=deepseek-v4.1-flash
export CLAUDE_CODE_DISABLE_NONESSENTIAL_TRAFFIC=1
claude