NVIDIA 推出 VFlash 技術，加速機器人軌跡解碼速度達 12 倍，預測誤差降低 61%

NVIDIA 研究人員開發了一種新的視覺規劃方法，能夠加速機器人軌跡解碼達 12 倍，同時在特定測試中將三維軌跡預測誤差降低多達 61%。這一方法名為 VFlash，允許視覺語言模型（VLMs）在一次性過程中生成完整的機器人軌跡及其他空間預測，而不是逐次產生坐標。在機器人操作測試中，VFlash 還將 NVIDIA Jetson Thor 和 DGX Spark 平台的整體推理延遲減少約 80%，有潛力幫助機器人更快地應對變化的環境。

VFlash 技術的優勢

這項研究解決了傳統 VLMs 的一個限制，後者通常是逐個坐標生成空間預測。隨著機器人需要預測更長的軌跡、跟蹤更多物體並處理更詳細的空間資訊，這種順序處理的方法可能會增加處理時間。VFlash 則利用已知的視覺預測結構，在一次前向傳遞中生成整個幾何物體或軌跡。

在機器人操作的測試中，研究人員報告指出，VFlash 在 NVIDIA Jetson Thor 平台上的推理延遲從 3,552.7 毫秒減少至 703.3 毫秒。這代表與傳統自回歸解碼相比，延遲大約減少了 80%。在 DGX Spark 硬件上，延遲從 3,356.5 毫秒降至 649.9 毫秒。VFlash 的運作原理是首先識別所請求視覺預測的結構，然後生成其坐標。

例如，邊界框具有固定的坐標佈局，而軌跡可以包含可變數量的二維和三維點。該模型使用輕量級擴散基礎草擬器在一次前向傳遞中共同預測這些坐標。與傳統的推測性解碼不同，後者需要逐個檢查生成的標記與目標模型的對應，VFlash 可以接受結構有效的視覺預測，而無需逐個標記的一致性。

研究人員在多個二維和三維機器人軌跡預測任務中評估了 VFlash。與基於自回歸的基礎方法相比，該方法在多個測試中減少了預測誤差。在三維軌跡測試中，根據數據集和訓練配置，它將平均位移誤差降低多達 61%。研究人員還在 3D 點運動預測中測試了 VFlash，該方法預測了物體在影片幀中的未來運動。初步的單次滾動測量顯示，生成速度比自回歸解碼快約 25 倍。

VFlash 在自動駕駛的應用

研究人員還探討了更快的視覺預測是否能改善下游機器人控制系統的性能。他們將 VFlash 生成的軌跡連接到在 MolmoSpaces 上評估的世界行動模型，該模型在四個任務套件中的平均成功率達到 70.2%，而基線系統的成功率為 62.6%。最大的改進出現在拾取和放置以及物體閉合任務中，成功率分別提高了 11.6 和 12.8 個百分點。除了機器人技術，研究人員還使用 NAVSIM 和 Waymo 數據集測試了 VFlash 在自動駕駛中的應用。

該模型生成的駕駛軌跡在基準性能上具有競爭力，而增強學習進一步改善了其規劃結果。這些發現表明，更高效地生成詳細的視覺計劃可能有助於實體 AI 系統在保持空間準確性的同時，更快地響應變化的環境。這項研究題為《VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding》，於 2026 年 11 月由 NVIDIA 研究人員及其合作者發表。

VFlash 對機器人技術的影響

VFlash 技術的推出標誌著機器人視覺規劃的一個重要進步，能夠顯著提升機器人對環境的反應能力。隨著機器人應用的需求日益增加，能夠快速且準確地生成軌跡對於提升機器人性能至關重要。VFlash 不僅在機器人操作中顯示出卓越的性能，還在自動駕駛領域展現出潛在的應用價值，可能改變未來自動駕駛系統的設計與實施。