- Die VFlash-Technologie kann die Dekodierung von Roboterbahnen um das 12-Fache beschleunigen und den Vorhersagefehler um 61 % reduzieren.
- VFlash ermöglicht die einmalige Generierung vollständiger Roboterbahnen, was die Effizienz steigert.
- In Tests reduzierte VFlash signifikant die Inferenzverzögerung und verbesserte die Reaktionsgeschwindigkeit der Roboter.
- Die Forschung untersucht auch die Anwendung von VFlash im autonomen Fahren und zeigt dessen Potenzial auf.
NVIDIA-Forscher haben eine neue visuelle Planungsmethode entwickelt, die die Dekodierung von Roboterbahnen um das 12-Fache beschleunigt und gleichzeitig in bestimmten Tests den dreidimensionalen Vorhersagefehler um bis zu 61 % senkt. Diese Methode namens VFlash ermöglicht es visuellen Sprachmodellen (VLMs), in einem einzigen Prozess vollständige Roboterbahnen und andere räumliche Vorhersagen zu generieren, anstatt die Koordinaten nacheinander zu erzeugen. In Tests zur Roboteroperation reduzierte VFlash auch die gesamte Inferenzverzögerung auf den NVIDIA Jetson Thor und DGX Spark Plattformen um etwa 80 %, was das Potenzial hat, Robotern zu helfen, schneller auf sich ändernde Umgebungen zu reagieren.
Vorteile der VFlash-Technologie
Diese Forschung adressiert eine Einschränkung traditioneller VLMs, die normalerweise räumliche Vorhersagen Koordinate für Koordinate generieren. Da Roboter längere Bahnen vorhersagen, mehr Objekte verfolgen und detailliertere räumliche Informationen verarbeiten müssen, kann dieser sequenzielle Ansatz die Verarbeitungszeit erhöhen. VFlash nutzt bekannte visuelle Vorhersagestrukturen, um in einem einzigen Vorwärtsdurchlauf das gesamte geometrische Objekt oder die Bahn zu generieren.
In Tests zur Roboteroperation berichteten die Forscher, dass die Inferenzverzögerung von VFlash auf der NVIDIA Jetson Thor Plattform von 3.552,7 Millisekunden auf 703,3 Millisekunden reduziert wurde. Dies entspricht einer Verzögerungsreduktion von etwa 80 % im Vergleich zur traditionellen autoregressiven Dekodierung. Auf der DGX Spark-Hardware sank die Verzögerung von 3.356,5 Millisekunden auf 649,9 Millisekunden. VFlash funktioniert, indem es zunächst die Struktur der angeforderten visuellen Vorhersage identifiziert und dann deren Koordinaten generiert.
Zum Beispiel haben Begrenzungsrahmen feste Koordinatenanordnungen, während Bahnen eine variable Anzahl von zwei- und dreidimensionalen Punkten enthalten können. Das Modell verwendet einen leichtgewichtigen Diffusionsgrundentwurf, um diese Koordinaten in einem einzigen Vorwärtsdurchlauf gemeinsam vorherzusagen. Im Gegensatz zur traditionellen spekulativen Dekodierung, die erfordert, dass die generierten Markierungen einzeln mit dem Zielmodell abgeglichen werden, kann VFlash strukturell gültige visuelle Vorhersagen akzeptieren, ohne die Konsistenz einzelner Markierungen überprüfen zu müssen.
Die Forscher bewerteten VFlash in mehreren Aufgaben zur Vorhersage von zwei- und dreidimensionalen Roboterbahnen. Im Vergleich zu den auf autoregressiven Ansätzen basierenden Methoden reduzierte diese Methode in mehreren Tests den Vorhersagefehler. In den Tests zur dreidimensionalen Bahn reduzierte sie je nach Datensatz und Trainingskonfiguration den durchschnittlichen Verschiebungsfehler um bis zu 61 %. Die Forscher testeten VFlash auch in der 3D-Punktbewegungsvorhersage, wobei die Methode die zukünftige Bewegung von Objekten in Filmrahmen vorhersagte. Erste einmalige Rollmessungen zeigten, dass die Generierungsgeschwindigkeit etwa 25 Mal schneller war als bei der autoregressiven Dekodierung.
Anwendung von VFlash im autonomen Fahren
Die Forscher untersuchten auch, ob schnellere visuelle Vorhersagen die Leistung nachgelagerter Robotersteuerungssysteme verbessern können. Sie verbanden die von VFlash generierten Bahnen mit einem Weltaktionsmodell, das auf MolmoSpaces bewertet wurde und eine durchschnittliche Erfolgsquote von 70,2 % in vier Aufgabensets erreichte, während das Baselinesystem eine Erfolgsquote von 62,6 % aufwies. Die größten Verbesserungen wurden in den Aufgaben zum Aufnehmen und Ablegen sowie bei Objektschließaufgaben erzielt, wobei die Erfolgsquote um 11,6 bzw. 12,8 Prozentpunkte stieg. Neben der Robotik testeten die Forscher auch die Anwendung von VFlash im autonomen Fahren mit den NAVSIM- und Waymo-Datensätzen.
Die vom Modell generierten Fahrbahnen weisen wettbewerbsfähige Benchmark-Leistungen auf, während das verstärkte Lernen die Planungsresultate weiter verbessert. Diese Ergebnisse deuten darauf hin, dass eine effizientere Generierung detaillierter visueller Pläne dazu beitragen könnte, dass physische KI-Systeme schneller auf sich ändernde Umgebungen reagieren, während sie die räumliche Genauigkeit beibehalten. Diese Forschung mit dem Titel „VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding“ wurde im November 2026 von NVIDIA-Forschern und ihren Partnern veröffentlicht.
Einfluss von VFlash auf die Robotik
Die Einführung der VFlash-Technologie stellt einen bedeutenden Fortschritt in der visuellen Planung für Roboter dar und kann die Reaktionsfähigkeit von Robotern auf ihre Umgebung erheblich verbessern. Angesichts der steigenden Nachfrage nach Robotikanwendungen ist die Fähigkeit, Bahnen schnell und genau zu generieren, entscheidend für die Verbesserung der Roboterleistung. VFlash zeigt nicht nur hervorragende Leistungen in der Roboteroperation, sondern auch potenzielle Anwendungswerte im Bereich des autonomen Fahrens, was möglicherweise die Gestaltung und Implementierung zukünftiger autonomer Fahrsysteme verändern könnte.

