LFM2.5-24B-A2B: ein 24B-Reasoning-Modell, das pro Wortstück so wenig verbraucht wie ein 2B-Modell

Die Größe im Namen eines Modells sagt wenig darüber, wie schnell es dir antwortet. LFM2.5-24B-A2B, das Modell, das Liquid AI am 13. Oktober veröffentlicht hat, hat 24 Milliarden Parameter (die Zahlen, aus denen ein Modell besteht, ein grobes Maß für seine Größe). Das ist die 24B im Namen. A2B heißt: etwa 2 Milliarden Parameter sind für jedes Wortstück aktiv, das es schreibt, ungefähr jeder zehnte (laut Model Card 2.45B). Ein Wortstück, oder Token, ist die Einheit, die ein Modell liest und schreibt, ungefähr drei Viertel eines Wortes. Liquid hat es für Agenten gebaut: Programme, die nachdenken, Werkzeuge aufrufen und auf deiner eigenen Hardware laufen. Dazu gibt es eine offizielle komprimierte Kopie, eine Datei mit 24.8 GB, die auf dem Papier auf eine einzige 48-GB-Grafikkarte passt und noch viel Platz übrig lässt.

Zwei Dinge vorweg. Erstens die Lizenz: Du darfst dieses Modell nur so lange kostenlos kommerziell nutzen, wie deine Firma, zusammen mit den Firmen, die ihr gehören oder denen sie gehört, weniger als 10 Millionen US-Dollar im Jahr umsetzt. Über dieser Grenze ist die kommerzielle Nutzung nicht abgedeckt. Zweitens wollten wir das Tempo auf einer gemieteten GPU messen, und der Test lief nie. Jede Geschwindigkeitsangabe in diesem Post stammt also von Liquid. Alles in der Tabelle unten ist gegen die Dateien von Liquid geprüft.

Frage	Antwort	Woher es kommt
Größe des ganzen Modells	24.0B Parameter	Model Card von Liquid
Genutzt pro geschriebenem Wortstück	2.45B Parameter	Model Card von Liquid
Offizielle komprimierte Datei	24.8 GB	Hugging Face (wo Liquid die Dateien veröffentlicht), Summe der Dateigrößen
Datei in voller Größe	etwa 48 GB	Hugging Face (wo Liquid die Dateien veröffentlicht), Summe der Dateigrößen
Längste Unterhaltung, die es annimmt	131,072 Wortstücke	Config-Datei
Passt auf eine 48-GB-Karte?	Sollte, mit Platz für lange Unterhaltungen	unsere Rechnung, keine Messung
Kommerziell gratis?	Nur unter 10 Mio. USD Jahresumsatz, verbundene Unternehmen eingerechnet	die Lizenz
Eigene Geschwindigkeitswerte	Keine, der Test lief nicht	unser Bericht zum Deploy-Test

Ein Team aus 64 Spezialisten

Der Trick hinter dem A2B hat einen Fachbegriff, Mixture of Experts, und eine einfache Idee. Ein Modell bearbeitet jedes Wortstück in einer Reihe von Schritten, einer nach dem anderen. Stell dir die meisten dieser Schritte als einen Raum mit 64 Spezialisten vor. Kommt ein Wortstück herein, wählt ein kleiner Router am Eingang 4 von ihnen aus, die sich darum kümmern, und die anderen 60 bleiben hinten. Jeder Spezialist muss im Gebäude sein, deshalb ist die Datei groß. Aber nur die 4 im Dienst arbeiten wirklich, deshalb ist jedes Wortstück billig.

Eine Mixture of Experts zahlt also beim Speicher wie ein großes Modell und bei der Arbeit wie ein kleines. Das ist die ganze Wette von LFM2.5-24B-A2B: die Kapazität eines 24B-Modells, der Aufwand pro Wortstück eines 2B-Modells. Die Model Card nennt noch zwei Details, die für einen Agenten zählen. Es denkt immer nach, bevor es antwortet, anders als sein Vorgänger LFM2-24B-A2B. Und wenn es ein Werkzeug braucht, fragt es in einem festen, leicht erkennbaren Format danach, sodass das Programm drumherum das Werkzeug zuverlässig ausführen und das Ergebnis zurückgeben kann.

Auch die Schritte sind nicht alle von der üblichen Sorte. Von den 40 Schritten schauen nur 10 auf alles zurück, was bisher gesagt wurde, und genau das macht lange Unterhaltungen teuer. Die anderen 30 schauen nur auf die letzten paar Wortstücke. Dieses Detail kommt beim Speicher wieder.

Liquid sagt auch klar, wofür es nicht gedacht ist. Allein sollte man ihm beim Faktenwissen nicht trauen, also kombiniere es mit einer Websuche oder einer Suche über deine eigenen Dokumente. So einen Satz findet man selten in einer Model Card, und das ist erfrischend.

Worin es gut ist, nach den eigenen Zahlen von Liquid

Die Antwort zuerst: In den eigenen Tests von Liquid ist es am stärksten bei Agenten-Workflows, Werkzeugnutzung und beim Befolgen von Anweisungen. Beim Reparieren von echtem Code liegt es hinter Qwen: Es löste 51 von 100 Testaufgaben, Qwen 66 (51.00 gegen 66.20). Hinten liegt es auch bei schweren naturwissenschaftlichen Fragen, wo es etwa 74 von 100 richtig hatte, Qwen 84 (74.42 gegen 83.69), und beim Surfen im Web.

Liquid vergleicht es mit drei ähnlichen offenen Modellen: Qwen von Alibaba, Gemma von Google und Nemotron von NVIDIA. Alle drei Konkurrenten sind ebenfalls Teams von Spezialisten, bei denen pro Wortstück ein größerer Teil der Parameter arbeitet. Einen Vergleich mit einem klassischen Modell, bei dem jeder Parameter an jedem Wortstück arbeitet, veröffentlicht Liquid nicht. Ob es ein klassisches Modell mit ~24B auf derselben Karte schlägt, beim Tempo oder bei der Qualität, ist also genau das, was dir weder Liquid noch wir bisher sagen können.

Eine Auswahl aus der Model Card, alles von Liquid gelaufen:

Test	LFM2.5-24B-A2B	Qwen3.6-35B-A3B	Gemma-4-26B-A4B-it	Nemotron-3.5-Lightning
AutomationBench (Agenten-Workflows)	27.69	8.72	5.46	2.61
LiveClaw (Agenten-Aufgaben)	48.09	38.19	41.25	37.72
ToolSandbox (Werkzeugnutzung)	80.71	75.02	72.09	75.13
BFCLv4 (Werkzeugaufrufe)	65.01	65.00	57.09	53.78
PinchBench (Agenten-Aufgaben)	83.18	89.93	77.12	84.20
WebArena Verified (Surfen im Web)	26.75	37.62	25.62	28.69
IFBench (Anweisungen befolgen)	74.69	64.21	47.44	71.67
SWE-Bench Verified (echten Code reparieren)	51.00	66.20	25.80	53.40
GPQA Diamond (schwere naturwissenschaftliche Fragen)	74.42	83.69	74.90	72.42

Das sind die Zahlen des Herstellers, mit dem Setup des Herstellers. Bei den Werkzeugaufrufen (BFCLv4) ist es ein Unentschieden mit Qwen, 65.01 gegen 65.00. Abstände so groß wie 27.69 gegen 2.61 bei AutomationBench sind genau das, was ein unabhängiger Lauf als Erstes prüfen sollte.

Laut Liquid schreibt es 184 Wortstücke pro Sekunde auf einem High-End-Laptopchip von Apple (M5 Max) und 114 auf einem AMD Ryzen AI Max+ 395. Rechnet man eine Seite mit etwa 650 Wortstücken, kommen wir damit auf eine Seite Text alle drei bis vier Sekunden auf dem Apple-Chip. Aber dieses Modell denkt immer nach, bevor es antwortet, und dieses verborgene Nachdenken kommt zuerst: Diese Wortstücke zählen in der Geschwindigkeitsangabe mit und in der Wartezeit bis zum ersten Wort der Antwort, also kommt die sichtbare Antwort langsamer an, als diese Zahlen vermuten lassen. Das gilt zudem für eine noch kleinere Kopie des Modells, die Liquid für Laptops gemacht hat. Nach der Zählung von Liquid ist es bis zu 1.7-mal schneller als das nächstbeste Modell, das sie ausprobiert haben. Auf einer einzigen Spitzenkarte fürs Rechenzentrum (einer NVIDIA B300), die viele Leute gleichzeitig bedient, meldet Liquid über 21,000 Wortstücke pro Sekunde, über alle zusammengezählt. Eine einzelne Person sieht davon nur einen kleinen Teil.

Warum eine 48-GB-Karte reichen sollte, auf dem Papier

Auf dem Papier ja: Das komprimierte Modell belegt etwa die Hälfte einer 48-GB-Karte, und selbst eine Unterhaltung mit maximaler Länge braucht nur etwa 2.7 GB mehr.

Die offizielle komprimierte Kopie speichert die meisten Zahlen des Modells mit halber Genauigkeit, was die Datei halbiert: 24.8 GB gegen etwa 48 GB für die Version in voller Größe. Liquid empfiehlt diese Kopie für Serving mit hohem Durchsatz auf GPUs, bei geringerem Speicherbedarf.

Dieser ganze Absatz ist unsere Rechnung anhand der Config-Datei, keine Messung. Die Datei lässt auf der Karte etwa 23 GB frei. Das Programm, das das Modell ausführt, nimmt sich davon einen Teil, und wie viel, haben wir nicht gemessen. Der Rest hält das Gedächtnis jeder Unterhaltung an das, was gesagt wurde, und hier hilft das Design mit 10 von 40 sehr. Eine Unterhaltung mit der vollen Länge von 131,072 Wortstücken braucht etwa 2.7 GB dieses Gedächtnisses. Ein Modell, bei dem alle 40 Schritte zurückschauen, bräuchte das Vierfache. Eine Karte sollte also Platz für das Modell und mehrere lange Unterhaltungen gleichzeitig haben.

Eine ehrliche Grenze der Idee "2B pro Wortstück", und das ist unsere Überlegung, keine Messung. Die Ersparnis ist am deutlichsten, wenn eine einzelne Person mit dem Modell spricht. Nutzen viele Leute das Modell gleichzeitig, wählt jedes ihrer Wortstücke andere Spezialisten, und bald sind die meisten der 64 beschäftigt. Jeden beschäftigten Spezialisten aus dem Speicher der Karte zu holen, kostet Zeit, also verhält sich das Modell bei vielen Nutzern zunehmend wie ein klassisches 24B-Modell, und sein Tempovorteil schrumpft. Deshalb sagt die Zahl von 21,000 von Liquid auch nichts darüber, wie schnell eine einzelne Person eine Antwort bekommt.

Die Lizenz, in klaren Worten

Das Modell kommt unter der LFM Open License v1.0, und die Klausel, auf die es ankommt, ist kurz:

Die Lizenz setzt eine Schwelle von 10,000,000 US-Dollar Jahresumsatz.
Kommerzielle Nutzung ist nur erlaubt, solange du oder deine "Legal Entity" darunter bleiben.
"Legal Entity" umfasst jede Firma, die dich kontrolliert, die du kontrollierst oder die mit dir unter gemeinsamer Kontrolle steht.
"Commercial Use" ist weit gefasst: jede Nutzung "for direct or indirect commercial advantage or monetary compensation" (für direkten oder indirekten kommerziellen Vorteil oder finanzielle Vergütung). Auch ein internes Tool, das deinem Team Zeit spart, kann darunter fallen.
Über der Schwelle "is not licensed under this Agreement" (ist die kommerzielle Nutzung durch diese Vereinbarung nicht lizenziert). Nicht-kommerzielle Nutzung und Forschung durch eine qualifizierte gemeinnützige Organisation sind von der Schwelle ausgenommen.
Wer gegen die Bedingungen verstößt, verliert die Lizenz automatisch.

Das funktioniert wie eine Bar, in der lokale Bands gratis spielen dürfen. Eine Band mit Vertrag bei einem großen Label wird am Label gemessen, nicht an den vier Leuten auf der Bühne. Über der Grenze deckt diese Lizenz den Auftritt nicht ab. Wir lesen das so, dass du dann eine eigene Vereinbarung mit Liquid bräuchtest, aber die Lizenz selbst sagt das nicht ausdrücklich. Wenn du die Modelldateien an andere weitergibst, legst du die Lizenz bei, kennzeichnest deine Änderungen und behältst die Hinweise. Wenn deine Firma nah an der Grenze liegt oder zu einer Gruppe gehört, ist das ein Gespräch für deine Anwältin oder deinen Anwalt, nicht für einen Blogpost.

Wir sind auf das Modell im News-Überblick von AI Search vom 18. Oktober gestoßen (Kapitel bei 37:47). Zwei Details dort brauchen eine Korrektur. Der Moderator sagt, die Lizenz sei "mostly Apache 2.0" (eine verbreitete Lizenz ohne Umsatzgrenze), und das stimmt nicht. Die "48 gigabytes", die er nennt, sind die Kopie in voller Größe. Die komprimierte hat etwa die Hälfte.

Was wir messen wollten

Wir haben noch keine Geschwindigkeitswerte, weil nie eine GPU gemietet wurde. Hier ist der Plan, den wir ausgeführt hätten, in einfachen Schritten (die genauen Befehle stehen im Abschnitt für Engineers), und die eine Netzwerkberechtigung, an der er gescheitert ist.

Die GPU. Eine Grafikkarte mit 48 GB, wie man sie stundenweise mieten kann, mit einer neueren Karte als erster Wahl und einer älteren, langsameren als letztem Ausweg. Ob die komprimierte Kopie auf einer davon lädt, haben wir nicht geprüft.

Die Software und warum. vLLM, das Programm, mit dem unsere Plattform Modelle ausführt. Es kennt das Design dieses Modells schon, kann also das Nachdenken des Modells von seiner endgültigen Antwort trennen und seine Werkzeuganfragen ohne zusätzlichen Code herausfiltern. Dieses Modell braucht ein neueres vLLM als das, das wir standardmäßig installieren, also war der Plan, nur für dieses Modell eine neuere Version anzufordern.

Die Schritte. Der Plattform sagen, welches Modell in welcher Version laufen soll, sie die Karte mieten lassen und dem Modell dann ein paar Arten von Fragen stellen: eine zu Code, eine auf Spanisch, eine, die ein Werkzeug braucht, eine, die einen Fakt tief in einem sehr langen Text versteckt, und mehrere Leute, die gleichzeitig fragen. Es gibt kein Codebeispiel zum Verlinken, weil der Entwurf nie lief und nie veröffentlicht wurde.

Was schiefging. Der KI-Assistent, der unseren Test steuert, hat eine Sicherheitsprüfung, und die hat sich geweigert, die Netzwerkverbindung zu öffnen, die eine gemietete GPU braucht, um Fragen von unserer Plattform zu empfangen. Wir haben uns entschieden, das nicht zu umgehen, also wurde keine GPU gemietet.

Wem was zu verdanken ist

Liquid AI hat das Modell mit 36 Billionen Wortstücken trainiert und es dann verfeinert, indem es in echten Agenten-Tools arbeiten musste (OpenClaw, Hermes Agent, Pi und OpenCode). Liquid hat es in mehreren Versionen veröffentlicht, von der komprimierten Kopie für Rechenzentrumskarten bis zu kleineren für Laptops, mit Unterstützung ab dem ersten Tag in den wichtigsten Open-Source-Programmen, die Modelle ausführen. Das vLLM-Projekt kennt den Aufbau dieses Modells schon und veröffentlicht ein Rezept mit den Einstellungen, um es zu betreiben. AI Search hat es uns vor die Nase gesetzt. Unser Anteil ist diesmal klein: die Dateien lesen, die Größen prüfen, den Speicher durchrechnen und den Testplan schreiben.

Was zwei Milliarden Parameter im Dienst in Sekunden bringen, auf einer gemieteten Karte, ist noch offen. Das Skript, das es beantworten wird, heißt bench.py.

Für Engineers

Checkpoint. LiquidAI/LFM2.5-24B-A2B-FP8, sha f54bf39547fd5b7955abb9fe8d1b151e31fbbddb, erstellt 2026-10-12T22:19:54Z, zuletzt geändert 2026-10-13T06:11:42Z, nicht gated, license_name: lfm1.0. 10 Safetensors-Shards (1,857,173,880 bis 2,660,477,032 Bytes), Repo insgesamt 24,766,905,221 Bytes (etwa 23.1 GiB). Safetensors-Parameter: 23,200,792,576 F8_E4M3 + 770,792,704 BF16 + 2,432 F32 = 23,971,587,712. BF16-Repo LiquidAI/LFM2.5-24B-A2B: 47,964,602,405 Bytes, sha 1769516a. Veröffentlichte Varianten: Base, post-trained, FP8, GGUF, ONNX, MLX-4bit. Ein DSpark-Draft-Modell für Speculative Decoding mit SGLang ist als "Coming soon" gelistet.

Architektur (config.json): Lfm2MoeForCausalLM, model_type: lfm2_moe. 40 Layer: 30 doppelt gegatete Short-Convolution-Blöcke und 10 GQA-Attention-Layer. 64 Experten pro MoE-Block, Top-4-Routing, moe_intermediate_size 1536, 2 dichte Layer. Hidden 2048, 32 Attention-Heads, 8 KV-Heads, Vokabular 128,000, max_position_embeddings 131,072, rope_theta 1e7, gebundene Embeddings. Card: 24.0B gesamt, 2.45B aktiv. Das Chat-Template fügt <think> ein, wenn der Assistant-Turn beginnt (Reasoning immer an).

Aktive Parameter unter Last. 2.45B aktiv gilt pro Token. Bei gebatchten Requests routen verschiedene Tokens zu verschiedenen Top-4-Sets, also wächst die Vereinigungsmenge der pro Decode-Schritt gelesenen Experten mit der Batchgröße, und der Speicherbandbreiten-Vorteil gegenüber einem dichten Modell schrumpft. Der B300-Wert unten ist aggregierter Durchsatz, nicht Decode-Tempo pro Nutzer.

Quantisierung. compressed-tensors FP8_BLOCK: Gewichte FP8 statisch in 128x128-Blöcken, Aktivierungen FP8 dynamisch pro Gruppe von 128. Nicht quantisiert: lm_head, model.embed_tokens, MoE-Router-Gates, Conv-Gewichte. SGLang-Start laut FP8-Card: python -m sglang.launch_server --model-path LiquidAI/LFM2.5-24B-A2B-FP8 (keine SGLang-Version angegeben).

KV-Cache, gerechnet (nicht gemessen). Nur die 10 Attention-Layer halten KV: 10 x 8 KV-Heads x 64 head_dim x 2 (K und V) x 2 Bytes = 20 KiB pro Token, etwa 2.5 GiB für eine volle Sequenz mit 131,072 Tokens. head_dim 64 ist angenommen als 2048 / 32. Die Config hat kein explizites head_dim. Conv-Layer halten einen kleinen festen Zustand pro Sequenz (conv_L_cache 3).

Training (Card und Blog): Budget von 36T Tokens. Pre-Training etwa 33T (gegenüber etwa 17T bei LFM2-24B-A2B). Mid-Training 2T Tokens bei 32K, dann 300B Tokens bei 131K. Der Kontext wuchs von 32K auf 131K und das Vokabular von 65K auf 128K durch In-Place-Erweiterung des Tokenizers. Post-Training: SFT, Teacher-Spezialisierung, zwei On-Policy-Distillation-Stufen (nicht agentisch und agentisch), agentisches RL in OpenClaw, Hermes Agent, Pi und OpenCode.

Tools und Sampling. Tool-Calls sind Python-artige Listen zwischen <|tool_call_start|> und <|tool_call_end|>. Empfohlenes Sampling, auch in generation_config.json (vLLM wendet es also standardmäßig an): temperature 0.1, top_k 50, repetition_penalty 1.05.

Serving mit vLLM. Die vLLM-Doku von Liquid: Die LFM2.5-Architekturen sind ab vLLM 0.23.0 enthalten. Lass max_tokens ungesetzt, außer du willst die Ausgabe wirklich begrenzen, denn eine niedrige Grenze schneidet Reasoning-Modelle mitten im Gedanken ab. Übergib top_k, min_p und repetition_penalty über extra_body. Das vLLM-Rezept für LFM2.5: native Unterstützung für Lfm2MoeForCausalLM (kein --trust-remote-code), min_vllm_version 0.23.0, --reasoning-parser qwen3, --enable-auto-tool-choice --tool-call-parser lfm2. Der Rezepttext nennt das 8B-A1B als MoE-Beispiel und erwähnt das 24B-A2B nicht. Unsere Angaben aus der Doku stammen aus einer am 2026-10-19 gespeicherten Kopie der Liquid-Seite (der Live-Abruf war blockiert).

Geplanter Befehl, nie ausgeführt:

vllm serve LiquidAI/LFM2.5-24B-A2B-FP8 \
  --max-model-len 131072 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice --tool-call-parser lfm2

mit der vllm_version des Workloads fest auf 0.31.0. Dieses Release braucht torch 2.13.0, gebaut für CUDA 13, also beschränkte der Plan die Pods auf Hosts mit CUDA 13.x. Der Standard des InferenceKey-Workers ist DEFAULT_VLLM_VERSION = "0.20.0", pro Workload überschreibbar mit vllm_version, das der Worker an pip install vllm==<version> weitergibt.

Geplante GPU. L40S 48 GB zuerst, RTX 6000 Ada 48 GB als Fallback, A40 48 GB als letzter Ausweg (Ampere, FP8 über Marlin, langsamer). Container-Disk 80 GB. Es wurde kein Pod erstellt.

Geschwindigkeitsangaben des Herstellers. 184 tok/s Decode auf Apple M5 Max und 114 tok/s auf AMD Ryzen AI Max+ 395 (llama.cpp, Q4_K_M, 4K Tokens Input, Pipette-Infrastruktur von Liquid). Über 21K Output-tok/s auf einer NVIDIA B300 bei hoher Concurrency (SGLang 0.5.22, 1,024 Input-Tokens, bis zu 256 Output-Tokens, BF16-Gewichte, gesamte Output-Tokens geteilt durch die Wall-Time).

Vollständige Benchmark-Tabelle des Herstellers (LFM2.5-24B-A2B / Qwen3.6-35B-A3B / Gemma-4-26B-A4B-it / Nemotron-3.5-Lightning 30B-A3B): AutomationBench 27.69 / 8.72 / 5.46 / 2.61. BFCLv4 65.01 / 65.00 / 57.09 / 53.78. ToolSandbox 80.71 / 75.02 / 72.09 / 75.13. LiveClaw 48.09 / 38.19 / 41.25 / 37.72. PinchBench 83.18 / 89.93 / 77.12 / 84.20. tau3-Bench Banking 8.04 / 7.63 / 4.54 / 7.01. WebArena Verified 26.75 / 37.62 / 25.62 / 28.69. GPQA Diamond 74.42 / 83.69 / 74.90 / 72.42. AA-Omniscience -24.90 / -24.35 / -59.39 / -3.58. HLE 7.40 / 7.69 / 8.57 / 5.65. IFEval 96.75 / 93.06 / 92.00 / 94.19. IFBench 74.69 / 64.21 / 47.44 / 71.67. Multi-IF 84.38 / 81.53 / 82.19 / 82.34. MATH-500 96.04 / 96.73 / 95.66 / 96.40. SWE-Bench Verified (OpenCode) 51.00 / 66.20 / 25.80 / 53.40. SciCode 32.71 / 37.35 / 35.42 / 27.78. Alles mit vLLM evaluiert. Ein Vergleich mit einem dichten Modell ist nicht veröffentlicht.

Preise der Liquid-API (Blog): 0.10 USD pro 1M Input-Tokens, 0.05 USD pro 1M gecachte Input-Tokens, 1.00 USD pro 1M Output-Tokens. Unterstützung ab dem ersten Tag für llama.cpp (GGUF), MLX, vLLM, SGLang und ONNX.

Was den Test blockiert hat. Eine Netzwerkberechtigung auf unserer Seite hat die Verbindung verweigert, die eine gemietete GPU braucht, um Jobs von unserer Plattform zu empfangen, und zwar bevor eine GPU gemietet wurde. Wir haben keine Umgehung versucht, also gibt es keine Zahlen.

Vorbereitet, nie ausgeführt. bench.py: gestreamtes Reasoning, Fälle zu Code und auf Spanisch, ein Tool-Call-Roundtrip, Needle-Tests bei 8K, 32K und 100K, sowie 4 und 8 parallele Requests.

Grenzen.

Keinerlei InferenceKey-Messungen für dieses Modell: keine Tokens/s, keine Time to First Token, kein VRAM, keine Qualität, keine Beispiele.
Nicht getestet: ob der FP8-Checkpoint auf vLLM 0.23+ oder 0.31.0 auf einer Ada-Karte mit 48 GB lädt und läuft, oder auf einer A40 über Marlin.
Der KV-Wert ist Rechnung mit einem angenommenen head_dim. Der Wert für den freien Speicher ist nur Kartengröße minus Gewichte: Die Reservierung von vLLM, der CUDA-Kontext und der Speicher für Aktivierungen wurden weder geschätzt noch gemessen.
Die Ersparnis durch "2B aktiv" gilt pro Token. Sie verspricht kein Tempo pro Nutzer unter gleichzeitiger Last.
Für den FP8-Checkpoint ist keine SGLang-Version dokumentiert.
Alle Benchmarks und Geschwindigkeitsangaben stammen von Liquid, mit Vergleichen nur gegen andere MoE-Modelle.
Die Lesart der Lizenz oben ist unsere, keine Rechtsberatung. Die Lizenz hat keine Klausel zum anwendbaren Recht.

Quellen: Model Card, FP8-Card, Lizenz, Liquid-Blog, vLLM-Doku von Liquid, AI-Search-Überblick.