Qwen3.5-0.8B: Eine KI hat 0,016 % seiner Gewichte editiert, und die Denkschleifen fielen von 93 % auf etwa 32 %

Eine andere KI hat in Qwen3.5-0.8B, einem kleinen offenen Reasoning-Modell, an zwei Stellen je 64 Spalten von Zahlen geändert, und zwar ganz ohne Training. Wir haben das editierte Modell und das Original nebeneinander auf einer RTX 4090 in unserer Cloud laufen lassen, mit denselben 50 Matheaufgaben und denselben Einstellungen. Das editierte kam auf 62 % richtige Antworten. Das Original auf 8 %, weil 96 % seiner Antworten nie endeten: Es dachte im Kreis, bis es das Limit von 32.768 Tokens (Wortstücken) erreichte. Wenn du kleine Reasoning-Modelle auf deinen eigenen GPUs betreibst, geht es hier genauso um Kosten wie um Genauigkeit. Eine Antwort, die nie endet, belegt einen Platz auf deiner Karte, bis das Limit sie abschneidet, und meistens kommt dabei keine Antwort heraus. Die editierte Datei lädt und läuft mit demselben Befehl wie das Basismodell. Geprüft haben wir nur Mathe mit eingeschaltetem Denken.

Die Frage auf dem Bild ist einfach: Wie viele Teiler hat 196? Die Antwort ist 9. Das editierte Modell fand sie und hörte auf. Das Basismodell begann, Zahlen jenseits von 3.300 einzeln aufzuzählen, und war immer noch dabei, als das Limit es abschnitt.

Ein Modell, das das Ende nicht findet, und ein Edit, der ihm eines gibt

Der Edit macht genau eine Sache: Er entfernt die Gewohnheit, die das Modell in Schleifen laufen ließ. Die Mathematik, die das Modell richtig löst, steckte schon vorher drin.

Qwen3.5-0.8B gehört zur Qwen3.5-Familie und hat etwa 0,8 Milliarden gelernte Zahlen (die Gewichte). Bevor ein Reasoning-Modell antwortet, schreibt es einen Notizblock: Es denkt laut nach und gibt dann das Ergebnis aus. Qwens eigene Model Card warnt, dass diese Größe „more prone to entering thinking loops“ ist als ihre Geschwister. Stell dir eine Band vor, die das Ende eines Songs nicht findet. Alle spielen noch in der richtigen Tonart, aber das Outro dreht sich im Kreis, bis der Tontechniker den Stecker zieht. Auf einer GPU ist der Tontechniker das Tokenlimit, und jedes Token, das das Modell schreibt, kostet Zeit auf der Karte.

Am 2. November 2026 veröffentlichte ein Team am MIT CSAIL einen Blogpost über das, was es Weight-Space Programming nennt. In einem ihrer Experimente bekommt ein großes Modell, das sie GPT-6 Astra nennen, ein Werkzeug, um die Zahlen des kleinen Modells zu untersuchen und zu ändern. Dazu bekommt es Übungsaufgaben, keine davon aus dem Test, auf dem es bewertet wird. Sein Budget ist eine Anzahl von Übungsläufen des kleinen Modells: 10, 25 oder 50. Astra beobachtet, was das Modell tut, liest sein Inneres und ändert die Zahlen direkt. Keinerlei Training.

Von den ersten 96 Übungsantworten des Basismodells liefen 85 bis zum Limit von 32.768 Tokens. Mit 50 Läufen fand Astra das Muster hinter den Schleifen an zwei Stellen im Modell und löschte es dort aus jeweils 64 Spalten von Zahlen. Das sind 131.072 Gewichte des gesamten Modells: 0,016 %. Auf MATH-500, einem Standardsatz von 500 Wettbewerbs-Matheaufgaben, berichten die Autoren einen Sprung von 7,9 % auf 48,1 % richtige Antworten. Der Anteil der am Limit abgeschnittenen Antworten fiel von 93 % auf 33,1 %. Ähnliche Sprünge berichten sie auf zwei weiteren Tests, die wir nicht wiederholt haben (siehe Anhang).

Die Autoren haben die genaue Änderung veröffentlicht und ein Skript, das sie nachbaut. Der Hugging-Face-Nutzer akhaliq hat die editierte Modelldatei nachgebaut, sie auf allen 500 Aufgaben neu laufen lassen und eine öffentliche Demo online gestellt. Sein Lauf kam auf 51,0 % richtige Antworten, mit 31,6 % am Limit abgeschnittenen. Wir sind auf die Geschichte im News-Video von AI Search vom 8. November gestoßen.

62 % richtig gegen 8 % auf einer RTX 4090, und die Schleifen fallen von 96 % auf 20 %

Mit den Evaluationseinstellungen der Autoren hörte die editierte Datei auf unserer Hardware mit den meisten ihrer Schleifen auf und beantwortete fast achtmal so viele Aufgaben richtig.

Beide Modelle liefen nebeneinander auf einer einzigen RTX 4090 mit 24 GB in unserer Cloud, jedes hinter seinem eigenen API-Endpoint. Beide nutzten vLLM, die Open-Source-Serving-Engine, die auch akhaliqs Lauf verwendete, mit eingeschaltetem Denk-Notizblock und den Zufallseinstellungen der Autoren.

Die Fragen waren die ersten 50 MATH-500-Aufgaben in der Reihenfolge von akhaliqs Lauf, ein Versuch pro Aufgabe, bis zu 32.768 Tokens pro Antwort. Alle 50 liefen pro Modell gleichzeitig, beide Modelle zur selben Zeit. Bewertet haben wir mit dem Bewertungsskript der Autoren.

Unsere 62 % liegen über beiden veröffentlichten Werten. Das liegt an der kleinen Stichprobe: Auf diesen 50 Aufgaben kam akhaliqs Lauf im Schnitt auf 54 %, und unsere Antworten stimmten bei 42 von 50 mit seinem üblichen Ergebnis überein. Die 8 % und 96 % des Basismodells liegen genau auf den Werten der Autoren.

Die beiden Male, in denen das Basismodell eine Antwort zu Ende brachte, war sie richtig. Seine anderen 2 richtigen Antworten kamen aus Schleifen, die die richtige Zahl schon geschrieben hatten, bevor das Limit sie abschnitt.

Die Ersparnis: 1,02 Millionen Tokens statt 1,59 Millionen für dieselben 50 Aufgaben

Auf denselben 50 Aufgaben brauchte das editierte Modell im Schnitt 20.444 Tokens pro Antwort und das Basismodell 31.832, und 20 % der editierten Antworten wurden am Limit abgeschnitten gegenüber 96 %. Pro richtiger Antwort: etwa 5 Minuten Batch-Zeit gegenüber 32 Sekunden (398.000 Tokens gegenüber 33.000). Dieser Abstand beruht auf nur 4 richtigen Antworten des Basismodells, nimm ihn also als grobe Schätzung.

Eine GPU bedient eine feste Zahl von Antworten gleichzeitig. Beim Basismodell steckte fast jeder dieser Plätze in einer Schleife fest, bei der Teiler-Frage bis zu 12,6 Minuten lang. Das editierte Modell schreibt immer noch lange Antworten, aber die meisten enden mit einem Ergebnis.

Warum nicht einfach das Limit senken oder den Stream beobachten und eine Schleife abbrechen, wie Qwens Card vorschlägt? Damit scheitert eine Schleife früher, und das spart Zeit auf der Karte. Das haben wir beim Basismodell nicht ausprobiert, ebenso wenig das Ausschalten des Denkens, also teste das, bevor du die Dateien tauschst.

Wo es aufhört zu funktionieren: Es entfernt Schleifen, es fügt kein Können hinzu

Der Edit hat eine schlechte Gewohnheit behoben. Klüger hat er das Modell nicht gemacht, und das sagen die Autoren selbst.

Sie haben denselben Ansatz bei Gemma 3 270M versucht, einem Modell, das selten in Schleifen gerät: Nur 8,5 % seiner Antworten erreichten das Limit. Astra konnte es nicht verbessern. Es blieb auf MATH-500 zwischen 6,8 % und 7,7 %, egal mit welchem Budget. In ihren Worten: „Editing weights could remove an obstacle that hid an ability, but it could not add an ability the model lacked.“ Erwarte also nicht, dass das bei einem Modell funktioniert, dessen Problem keine Schleifen sind.

Auch editiert lief noch ein Fünftel unserer Antworten in eine Schleife, und 3 weitere endeten ohne finale Antwort. Die Antworten sind lang, eine einzelne Antwort braucht allein etwa eine Minute. Und der Sprung kam erst mit dem größten Budget: Mit 10 oder 25 Läufen ließen Astras Edits das Modell bei 12,3 % und 14,1 %.

Auch das Video von AI Search warnt vor dem Hype und erwähnt eine Analyse, die das unveränderte Modell angeblich allein durch geänderte Einstellungen auf etwa 44 % bei MATH-500 brachte. Das Video nennt keine Quelle, und wir haben es nicht geprüft.

Getestet haben wir nur Mathe mit eingeschaltetem Denken. Allgemeinen Chat, das Befolgen von Anweisungen, ausgeschaltetes Denken und Bilder haben wir mit der editierten Datei nicht geprüft. Laut Qwens Card läuft das 0.8B-Modell standardmäßig mit ausgeschaltetem Denken.

Welche GPU: Das editierte Modell kam unter einer emulierten Speichergrenze von 6 GB ans Ziel

Diese Prüfung zeigt, dass das Modell unter jeder Grenze startet und lange Antworten zu Ende bringt. Wir nahmen fünf Aufgaben, die es im Batch schon gelöst hatte, und unter 6 GB lieferte es dieselben fünf richtigen Antworten wie unter 8 GB, in derselben Zeit. Bei 5 GB kam es erst durch, nachdem wir den für parallele Unterhaltungen reservierten Platz von 256 auf 32 reduziert hatten. Bei 4 GB startete es nicht.

Jede Grenze unter 24 GB war ein Limit, das wir auf der 4090 gesetzt haben. Eine echte Karte mit 6 oder 8 GB haben wir nicht laufen lassen. Eine echte kleine Karte hat außerdem langsameren Speicher, rechne also damit, dass sie langsamer läuft als hier. Die Grenze von 4 GB mit einem kürzeren Antwortlimit oder eine komprimierte Version des Modells haben wir nicht ausprobiert.

Auf InferenceKey: das Basismodell und sein editierter Zwilling auf einer 24-GB-Karte, bereit in 7 Minuten

Eine Karte mit 24 GB hielt das Basismodell und seinen editierten Zwilling gleichzeitig, jedes mit weniger als der halben Karte, mit 16,9 GiB in der Spitze. Beide waren 418 Sekunden, nachdem wir sie angefordert hatten, bereit, von einer kalten Maschine aus. Etwa drei Minuten gingen für die Installation von vLLM drauf und etwa drei weitere für das Aufwärmen der Engine selbst. Sobald diese Installation auf der Maschine lag, war eine neue Engine in etwa einer Minute bereit.

Unsere API kann einige Einstellungen noch nicht pro Anfrage ändern, etwa den Denk-Schalter, deshalb haben wir sie auf dem Server für alle Aufrufer festgelegt.

Ein Problem, auf das du stoßen wirst: Eine über den Endpoint gestreamte Antwort des Basismodells brach nach 152 Sekunden ab, ohne Fehler, den unser Client sehen konnte, und ohne Endmarkierung. Für einen Client sieht eine abgeschnittene Antwort aus wie eine fertige. Wir vermuten den Stille-Timeout der Plattform von zwei Minuten, der einen Fehler schicken würde, den unser Beispielskript ignoriert, aber die Ursache ist nicht bestätigt. Bis dahin: Prüf bei jeder gestreamten Antwort, dass sie ordentlich als beendet markiert ist, bevor du ihr vertraust.

Solltest du es nutzen? Probier es, wenn du Qwen3.5-0.8B mit eingeschaltetem Denken betreibst

• Wenn du Qwen3.5-0.8B schon mit eingeschaltetem Denken betreibst und ihm Mathe schickst: Probier den Tausch. Gleiche Größe, gleiche Lizenz, und es läuft auf derselben Engine.
• Wenn du die beste Mathe aus einem winzigen Modell willst: Sieh es als Reparatur, nicht als Upgrade. Es holt heraus, was das Modell schon wusste, und es schreibt immer noch lange Antworten.
• Wenn du eine GPU dimensionierst: Das Ergebnis mit 6 GB wurde auf einer 24-GB-Karte emuliert, nicht auf einer echten 6-GB-Karte; siehe den Abschnitt zum Speicher.
• Wenn du ein anderes kleines Modell betreibst, das in Schleifen läuft: Das ist eine veröffentlichte Methode mit Logs, kein Produkt. Das Ergebnis mit Gemma zeigt, dass sie nur hilft, wenn Schleifen das Problem sind.

Um denselben Vergleich auf deiner eigenen GPU-Maschine laufen zu lassen, nimm das SDK-Beispiel für den Gewichts-Edit von Qwen3.5-0.8B mit IK_WITH_BASELINE=1. Es braucht eine registrierte NVIDIA-Maschine (einen Worker) mit einer 24-GB-Karte und etwa 15 GB freiem Plattenplatz. Die Zugangsschlüssel und den lokalen SDK-Build findest du in der Schritt-für-Schritt-Anleitung unten. Am Ende löscht es beide Workloads.

vllm serve <model> --dtype bfloat16 --max-model-len 34816 \
  --gpu-memory-utilization 0.45 \
  --default-chat-template-kwargs '{"enable_thinking": true}' \
  --override-generation-config '{"temperature": 0.6, "top_p": 0.95, "top_k": 20, "presence_penalty": 1.5}'