Sage-A1.5 auf einer 24-GB-Karte: 136 Tokens/s und ein Prüfmodus, der bei einfachen Fragen die Arbeit verdoppelt

Fünfunddreißig Milliarden Parameter auf der Platte, etwa drei Milliarden davon arbeiten für jedes Wort. Diese Lücke ist der Grund, warum Sage-A1.5, ein offener Recherche-Agent vom Shanghai AI Laboratory, auf eine einzige Gaming-Karte passt. Wir haben die komprimierte Datei der Autoren auf einer RTX 4090 betrieben, einer Gaming-Karte mit 24 GB, in unserer Cloud (InferenceKey Cloud), mit unveränderter Open-Source-Software. Die Agent-Mechanik hat dort funktioniert: Das Modell hat Aufgaben verteilt, unseren Code um Suchen gebeten und geantwortet. Es schrieb etwa 136 Tokens pro Sekunde, eine lange Antwort in 11 Sekunden, und hat unsere eine dreiteilige Recherchefrage in allen drei Testläufen richtig beantwortet. Sein neuer Verification Mode, der es seine eigene Arbeit prüfen lässt, lieferte bei einfachen Fragen dieselben richtigen Antworten, brauchte aber das 2,2-Fache der Zeit und doppelt so viele Tokens. Das Modell läuft auf einem GPU-Worker, den du kontrollierst, und die Tools laufen in deinem eigenen Code. Lass den Prüfmodus bei einfachen Nachschlagefragen aus und teste ihn an deinen schweren Fällen.

Das Bild zeigt eine Frage, zweimal auf derselben Karte gestellt: In welcher Stadt wurde Hafnium entdeckt, und von wem? Beide Läufe hatten sie richtig, und der Lauf mit eingeschaltetem Modus hat weiter Fakten geprüft, die er schon gelesen hatte.

35 Milliarden Parameter, 3 Milliarden wach für jedes Wort

Sage-A1.5 ist groß auf der Platte und klein in Bewegung, und deshalb kann eine Gaming-Karte es bedienen. Es ist ein Mixture-of-Experts-Modell. Stell dir ein Team aus 256 Spezialisten vor, dazu einen Generalisten, der immer im Raum ist. Für jedes Wort, das es schreibt, zieht das Modell 8 Spezialisten hinzu. Die anderen warten. Von 35 Milliarden Parametern arbeiten also bei jedem Schritt nur etwa 3 Milliarden, laut der Projektseite. Das Tempo richtet sich nach den 3 Milliarden, die Speicherrechnung nach den 35.

Das Modell ist aus zwei anderen nachtrainiert: dem offenen 35B-Modell des Qwen-Teams und Agents-A1, dem früheren Agenten des Labors selbst, im Juni veröffentlicht. Das Paper von Wenjie Lou und 98 Co-Autoren erschien am 20. Oktober. Das vollständige Modell und die komprimierte Datei mit etwa 22 GB stehen beide unter Apache-2.0: kommerziell frei nutzbar und ohne Formular herunterladbar. Eine kleine Zusatzdatei lässt das Modell Bilder lesen, und zwei Modi, die du selbst einschaltest, machen es zum Agenten:

• Agentic Orchestration. Du gibst dem Modell ein Tool, das Aufgaben verteilt. Das Modell zerlegt dann eine Frage in Aufgaben und gibt jede an einen Sub-Agenten, der selbstständig sucht und liest und dann berichtet. Wie eine leitende Forscherin, die drei Assistenten gleichzeitig in die Bibliothek schickt.
• Verification Mode. Eine Zeile in den Anweisungen an das Modell sagt ihm, dass es seine Arbeit prüfen soll, bevor es antwortet. Laut den Autoren muss dafür sonst nichts installiert werden.

Die Werte der Autoren stammen vom unkomprimierten Modell und wurden hier nicht nachgemessen

Bei BrowseComp, das nach schwer auffindbaren Fakten im Web fragt, melden die Autoren 81,7 von 100, gegen 91,2 für Kimi-K3, das beste Modell in ihrer Tabelle. In einem separaten Test mit Modus an und aus über alle 1.266 BrowseComp-Fragen hob der Verification Mode den Wert von 72,5 % auf 82,9 %. Ob die 81,7 diesen Gewinn schon enthalten, können wir nicht sagen. Ihre übrigen Werte stehen im Anhang.

Unser Test: eine RTX 4090, die Datei der Autoren, unsere eigenen Fragen

Zuerst die Grenze: eine Handvoll einfacher Fragen, die sich mit Wikipedia beantworten lassen, auf einer Karte, ein Agent nach dem anderen. Das prüft die Mechanik (Tool-Calls, Aufgaben verteilen, Antworten, die zurückkommen), nicht die Breite seiner Recherche.

Wir haben die komprimierte Datei der Autoren mit llama.cpp bereitgestellt, der offenen Software, die Modelle auf einer einzelnen Maschine laufen lässt, auf einer RTX 4090 in unserer Cloud. Wir haben die empfohlenen Einstellungen der Autoren verwendet. Alle Anfragen liefen über unsere Plattform, so wie eine Anwendung sie aufrufen würde, und das Tempo haben wir zusätzlich direkt gegen llama.cpp geprüft.

Die Fragen waren unsere. Jede brauchte ein paar Fakten aus Wikipedia: wer Rhenium entdeckt hat und wo, nach welcher Stadt Hafnium benannt ist, wann Technetium gefunden wurde. Das Modell hat über zwei Tools, die wir geschrieben haben, live Seiten gesucht und gelesen. Für die Orchestrierung haben wir eine Frage gestellt, dreimal ausgeführt: wie viele Jahre zwischen den Entdeckungen von drei Elementen lagen, sodass jeder Sub-Agent eines übernahm.

Etwa 136 Tokens pro Sekunde und eine Recherchefrage in allen drei Läufen richtig

Auf einer RTX 4090 schrieb das Modell bei einer Anfrage etwa 136 Tokens pro Sekunde, und das erste Token kam nach etwa einer Viertelsekunde. Der Weg über unsere Plattform fügte keine messbare Verzögerung hinzu: llama.cpp allein lieferte dasselbe Tempo. Eine Antwort mit 1.489 Tokens dauerte etwa 11 Sekunden.

Auch lange Prompts liest es schnell. Wir haben ein erfundenes Tag, 7342-ORCHID, in einem Prompt mit 92.662 Tokens versteckt, ungefähr die Länge eines Romans. Das Modell hat das Ganze in 31 Sekunden gelesen und das Tag gefunden.

Die Recherchefrage kam jedes Mal richtig zurück. In jedem der drei Testläufe hat das Modell drei Aufgaben gleichzeitig verteilt, eine pro Element. Die drei Sub-Agenten haben Wikipedia durchsucht und ihre Ergebnisse zurückgeschickt. Das leitende Modell hat dann die Antwort geschrieben: Hafnium 1923, Rhenium 1925, Technetium 1937, 14 Jahre vom ersten bis zum letzten. Jeder Tool-Call kam genau in dem Format heraus, das unser Code zum Ausführen brauchte. Ein einfacherer Test mit einem Suchaufruf kam 3 von 3 Mal sauber zurück, jeweils in unter einer Sekunde.

Die Zeit hängt davon ab, ob die Sub-Agenten nebeneinander laufen, und die Standardeinstellung unserer Plattform lässt sie anstehen. Nach einem Deploy schickt sie dem Modell eine Anfrage nach der anderen, also haben die drei Sub-Agenten in der Schlange gewartet, und der Lauf dauerte 72,0 Sekunden. Ein API-Aufruf hob das Limit auf zwei, und die Läufe dauerten dann 50 und 56 Sekunden. Status: Der Standard ist weiterhin eins, der Aufruf steht im Anhang.

Auch der Bildteil funktioniert. Wir haben ihm das Benchmark-Diagramm der Autoren gezeigt und nach einem Wert gefragt. Es hat 80,0 vom richtigen Balken abgelesen und 50,0 als bestes der größeren Modelle, beides korrekt.

Der Haken ist, wie lange es nachdenkt. Dieses Modell überlegt ausführlich, bevor es antwortet. Eine Definition in zwei Sätzen dauerte 14,4 Sekunden, weil es vorher 1.905 Tokens lang nachgedacht hat. Selbst 17 x 23 kostete 336 Tokens Nachdenken. Bei 136 Tokens pro Sekunde ist das für eine Rechercheaufgabe in Ordnung und für ein Chatfenster langsam.

Der Verification Mode hat bei einfachen Fragen die Arbeit verdoppelt und keine Antwort geändert

Bei unseren einfachen Fragen hat der Verification Mode nichts gebracht, was wir messen konnten. Alle 12 Antworten waren richtig, mit Modus aus und mit Modus an.

Die zusätzliche Arbeit war vor allem Wiederholung. Mit eingeschaltetem Modus füllte sich das Nachdenken mit „Let me verify“-Turns, nachdem die Fakten schon bestätigt waren. Der Abstand schwankte: Im anderen Hafnium-Lauf machte der Modus an einen Tool-Call weniger als der Modus aus. Ein Lauf dauerte 52,7 Sekunden, weil eine Wikipedia-Suche in ein Timeout lief und das Modell es erneut versuchte.

Das widerspricht den Autoren nicht. Ihr Gewinn kam bei BrowseComp, wo Fakten schwer zu finden sind und eine falsche erste Spur häufig ist.

Welche GPU: eine echte 24-GB-Karte mit vollem Tempo, darunter etwa ein Fünftel des Tempos oder weniger

Die kleinste Karte, auf der Sage-A1.5 mit vollem Tempo lief, war eine echte RTX 4090 mit 24 GB. Mit den Einstellungen unseres Beispiels, Platz für 32.768 Tokens Unterhaltung und zwei Anfragen gleichzeitig, belegte es 21,3 der 23,5 GiB der Karte. Die Konfiguration aus der Model Card selbst, 64K Tokens mit Bildverarbeitung, erreichte eine Spitze von 23,1 GiB. 128K Tokens, nur Text, erreichten 23,4 GiB, die Karte war damit fast voll. Alles davon passte, ohne Tempoverlust.

Unter 24 GB läuft das Modell nur, wenn ein Teil davon in den Hauptspeicher des Rechners wandert. Llama.cpp kann einige Spezialisten dort parken und vom Prozessor ausführen lassen, was viel langsamer ist. Wir haben kleinere Karten auf derselben 4090 simuliert, indem wir so viele Spezialisten ausgelagert haben, bis der Speicher der Karte unter der jeweiligen Grenze blieb.

• Simulierte 16 GB: 14,4 GiB auf der Karte, etwa 5,6-mal langsamer, und die Recherchefrage kam trotzdem in 98 Sekunden richtig zurück.
• Simulierte 12 GB: 10,8 GiB auf der Karte, und die Frage kam in 93 Sekunden richtig zurück.
• Simulierte 8 GB: 3,0 GiB, mit jedem Spezialisten im Hauptspeicher. Einer von zwei Rechercheläufen hat sein Limit von 12 Schritten nach 270 Sekunden ohne Antwort aufgebraucht. Der zweite Versuch war richtig.
• Nicht ausprobiert: echte Karten mit 16 und 12 GB, die RTX 3090, Karten mit 32 GB, das unkomprimierte Modell.

Die simulierten Geschwindigkeiten hängen vom Prozessor und Speicher des Rechners ab, nimm sie also als Richtung, nicht als Versprechen. Die kleineren Einstellungen brauchen außerdem freien Hauptspeicher für die geparkten Spezialisten, bis zu etwa 17 GB, wenn alle dorthin wandern.

Auf InferenceKey: bereit in 104 Sekunden, nach einem Fix am Befehl aus der Model Card

Ein 35B-Agentenmodell sollte keine eigene Engine brauchen, und dieses brauchte keine. Vom Deploy-Aufruf bis zum Serving vergingen 104,1 Sekunden, auf der llama.cpp-Version, die unsere Plattform schon mitliefert: die Datei mit 21,7 GB herunterladen, laden, antworten. Unsere Plattform betreibt ein Modell auf einem Worker, einer GPU-Maschine, die du besitzt oder mietest und mit ihr verbindest, und ihr Standard-llama.cpp hat Sage-A1.5 ohne Änderungen geladen. Beim ersten Mal auf einer frischen Maschine muss llama.cpp außerdem für die Karte gebaut werden, was zehneinhalb Minuten dauerte. Danach braucht ein Neustart 4 bis 7 Sekunden.

Das eine Problem, auf das du stoßen wirst, steckt in der Model Card selbst. Ihr llama.cpp-Befehl nutzt eine Reasoning-Einstellung namens deepthink, die llama.cpp nicht kennt. Der Server beendet sich beim Start mit „Unknown reasoning format: deepthink“. Wir haben auch ein viel neueres llama.cpp-Release geprüft, und dort gibt es sie ebenfalls nicht. Der Fix: stattdessen deepseek schreiben. Status: in unserem Beispiel behoben, in der Card der Autoren weiterhin drin.

Eine zweite Lücke liegt bei uns. Die Autoren schalten den Verification Mode mit einer Einstellung ein, die unsere Plattform noch nicht an das Modell weitergibt. Unser Beispiel fügt stattdessen dieselbe Schaltzeile in die Anweisungen an das Modell ein. Wir haben geprüft, dass das Modell auf beiden Wegen genau denselben Prompt sieht. Status: auf unserer Seite offen, im Beispiel umgangen.

Solltest du es ausprobieren? Ja auf einer 24-GB-Karte: Die Agent-Mechanik hat funktioniert

• Wenn du einen Agenten willst, der auf deiner eigenen Hardware sucht, liest und berichtet, probier es aus.
• Wenn dir Genauigkeit bei schweren Fragen wichtig ist, teste den Verification Mode an deinen eigenen schweren Fällen.
• Wenn du schnelle Chat-Antworten brauchst, such woanders. Es denkt vor kurzen Antworten Hunderte oder Tausende Tokens lang nach.
• Wenn deine Karte 16 GB oder weniger hat, rechne mit einem Bruchteil des Tempos, und nur mit reichlich Hauptspeicher.

Um Sage-A1.5 dieselbe Recherchefrage auf deiner eigenen Karte zu stellen, mit Sub-Agenten und mit Verification Mode aus und an, führ python main.py aus dem Sage-A1.5-SDK-Beispiel aus. Es braucht ein InferenceKey-Projekt mit einem SDK-Token und einem API-Key sowie einen privaten NVIDIA-Worker mit 24 GB oder mehr. Am Ende löscht es das Deployment.

llama-server -hf InternScience/Sage-A1.5-Q4_K_M-GGUF --hf-file Sage-A1.5-Q4_K_M.gguf \
  --no-mmproj --alias sage-a1.5 -ngl 99 -fa on -c 32768 -np 2 --kv-unified \
  --jinja --reasoning-format deepseek \
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0 --presence-penalty 1.5

system = "You are a careful research assistant." + "\n\nVerification protocol: enabled"