RelayVSR bringt 4-fach-Video-Upscaling auf eine 24-GB-Karte: sechs Keyframes von 72

Sechs Bilder von 72. Mehr musste das große Modell von RelayVSR nicht zeichnen, um aus einem 3 Sekunden langen Filmclip in 480p ein Video in 3416 x 1920 zu machen, auf einer einzigen RTX 4090 in unserer Cloud. Die übrigen Bilder hat ein kleines Netz ergänzt. Zusammen brauchten die beiden Modelle etwa 10 Sekunden GPU-Zeit, 7,33 Bilder pro Sekunde, und belegten in der Spitze 20,4 GiB der 24 GB der Karte. Für alle, die Modelle betreiben, holt das 4-fach-Video-Upscaling von der Rechenzentrumskarte auf eine 24-GB-Gaming-Karte. Eine ältere RTX 3090 erledigte dieselbe Aufgabe mit etwa halber Geschwindigkeit. Was Sie heute damit anfangen können: es auf einer eigenen 24-GB-Karte laufen lassen, für Gesichter und schnelle Bewegung den Standardabstand der Keyframes beibehalten und kurze Clips schicken, denn der langsame Teil der Anfrage ist die CPU, nicht die GPU.

Clip: Tears of Steel (CC) Blender Foundation, mango.blender.org, CC BY 3.0.

Ein Hauptzeichner und ein Zwischenphasenzeichner

RelayVSR leiht sich den ältesten Trick des Zeichentrickfilms. Ein Hauptzeichner zeichnet die Schlüsselposen, und Zwischenphasenzeichner zeichnen die Bilder, die sie verbinden.

Hier ist der Hauptzeichner ein Referenzgenerator, abgeleitet von Wan2.2, einem offenen Videomodell von Wan-AI. Er zeichnet eine detaillierte Fassung von einem Bild alle 15, die Keyframes. Der Zwischenphasenzeichner ist ein kleines Netz nach eigenem Entwurf der Autoren, 32 Millionen Parameter gegen die 5 Milliarden des großen Modells. Er skaliert jedes Bild hoch und schaut dabei auf das niedrig aufgelöste Video und auf die detaillierten Keyframes auf beiden Seiten. Die meisten Bilder berühren das große Modell nie, und deshalb reicht eine einzige Karte.

Die Arbeit stammt von Xijun Wang, Xin Li, Zirui Lang, Suhang Yao, Haoran Li und Zhibo Chen von der University of Science and Technology of China. Sie haben das Paper am 29. September 2026 veröffentlicht, mit dem Code auf GitHub und den Gewichten auf Hugging Face. Wan2.2 und beide Gewichtsdateien von RelayVSR stehen unter Apache-2.0, einer offenen Lizenz, die kommerzielle Nutzung erlaubt. Der Download ist etwa 10,2 GB groß. Entdeckt haben wir es im News-Video von AI Search vom 8. November. Unser Teil: ein Backend, das es als API bereitstellt, die Geschwindigkeitstests und der Test mit der kleinsten Karte.

Die Autoren geben 29,29 Bilder pro Sekunde bei 1080p auf einer A100 an, einer Rechenzentrumskarte, bei 13,82 GB Speicher. Der schnellste Konkurrent in ihrer Tabelle kommt auf 23,48 bei 31,36 GB. Das sind ihre Zahlen, nicht unsere.

Was eine RTX 4090 geschafft hat

Der Clip bestand aus 72 Bildern von Tears of Steel, dem offenen Kurzfilm der Blender Foundation, heruntergerechnet auf 480p. Die Ausgabe in fast 4K lief ungefähr dreimal langsamer, als der Film abläuft. Bei 1080p erreichte die 4090 etwa 80 % des A100-Werts der Autoren.

Die Ausgabe ist deutlich schärfer als einfaches bikubisches Hochskalieren, der übliche Skalierungsfilter. Gesichter, Haare, Bart und der Stoff einer Jacke bekommen überzeugende Details. Diese Details sind generiert, plausibel statt wiederhergestellt, prüfen Sie sie also, bevor Sie sie dort einsetzen, wo es auf Treue ankommt.

Die Keyframes doppelt so weit auseinanderzulegen ist eine Einstellung pro Anfrage. Das brachte etwa ein Viertel mehr Tempo, 9,10 Bilder pro Sekunde statt 7,33. Das Bild oben zeigt den Preis. Bei Bild 47 lag der nächste Keyframe 15 Bilder entfernt, mitten in einer Kopfdrehung, und das Gesicht wurde weich. Mit dem Standardabstand lag der letzte Keyframe 2 Bilder zurück, und das Gesicht blieb scharf.

Welche Karte, und wo die Zeit wirklich hingeht

Die kleinste echte Karte, die funktioniert hat, war eine mit 24 GB. Wir haben versucht, in unserer Cloud eine echte 16-GB-Karte zu mieten, und jede Option, die wir probiert haben, war ausverkauft. Also haben wir begrenzt, wie viel vom Speicher der 4090 das Modell nutzen durfte. Mit einem Budget von 16 GB passte nur 270p rein und 1080p raus, mit einer Ausgabe identisch zum unbegrenzten Lauf. Mit einem Budget von 12 GB passte nichts: Das große Modell allein belegt 9,6 GiB.

Auf InferenceKey lief das Modell 71,2 Sekunden nach unserer Anfrage, mit den Gewichten schon auf der lokalen Festplatte der Maschine. Nichts Eingebautes stellt einen Video-Upscaler bereit, also haben wir ein eigenes Backend geschrieben: eine kleine Python-Datei, die der Plattform sagt, wie sie das Modell laden und Anfragen beantworten soll. Sie führt eine festgelegte Version des Codes der Autoren mit deren Einstellungen aus. Das lief auf einer lokalen Kopie unseres Stacks, nicht auf dem gehosteten Dienst.

Ein Clip mit 72 Bildern in 1920p brauchte 26 bis 41 Sekunden von der Anfrage bis zur Antwort, für 8 bis 10 Sekunden GPU-Arbeit. Der Rest war der Prozessor, der 72 große Bilder zu einem MP4 komprimierte, und das zweimal, damit die Antwort in eine einzige Nachricht von 8 MB passt. Bei 1080p dauerte der ganze Weg hin und zurück 6,4 bis 7,2 Sekunden. Status: offen. Ein Download-Link als Antwort würde den zweiten Durchgang überflüssig machen, und das README des Beispiels empfiehlt, lange Videos in Stücken von 2 bis 3 Sekunden zu schicken.

Für wen das interessant ist

• Teams, die 480p auf eigener Hardware auf fast 4K hochskalieren: eine 24-GB-Karte, eine 4090 oder, mit halber Geschwindigkeit, eine 3090.
• 1080p-Ausgabe aus niedrig aufgelösten Clips: ein Budget von 16 GB hat in unserem emulierten Test gereicht.
• Gesichter und schnelle Bewegung: einen Keyframe alle 15 Bilder beibehalten.
• Ruhige Szenen, in denen Tempo am meisten zählt: alle 31 Bilder ist etwa ein Viertel schneller.
• Audio: wird nicht übernommen, Sie müssen es selbst wieder anlegen.

Die ehrliche Grenze: Wir haben Standbilder eines einzigen sauberen Clips nur gegen bikubisch verglichen. Das ist also eine Sichtprüfung, kein Qualitäts-Benchmark, und altes oder beschädigtes Material ist ungetestet.

Die Geschwindigkeitstabellen, die Speicherleiter und den Vergleich Bild für Bild finden Sie im vollständigen RelayVSR-Test.