- VFlash 技术能加速机器人轨迹解码达 12 倍，预测误差降低 61%。
- VFlash 允许一次性生成完整机器人轨迹，提升效率。
- 在测试中，VFlash 显著减少推理延迟，提升机器人反应速度。
- 研究还探讨 VFlash 在自动驾驶中的应用，显示其潜力。
NVIDIA 研究人员开发了一种新的视觉规划方法，能够加速机器人轨迹解码达 12 倍，同时在特定测试中将三维轨迹预测误差降低多达 61%。这一方法名为 VFlash，允许视觉语言模型（VLMs）在一次性过程中生成完整的机器人轨迹及其他空间预测，而不是逐次产生坐标。在机器人操作测试中，VFlash 还将 NVIDIA Jetson Thor 和 DGX Spark 平台的整体推理延迟减少约 80%，有潜力帮助机器人更快地应对变化的环境。
VFlash 技术的优势
这项研究解决了传统 VLMs 的一个限制，后者通常是逐个坐标生成空间预测。随着机器人需要预测更长的轨迹、跟踪更多物体并处理更详细的空间信息，这种顺序处理的方法可能会增加处理时间。VFlash 则利用已知的视觉预测结构，在一次前向传递中生成整个几何物体或轨迹。
在机器人操作的测试中，研究人员报告指出，VFlash 在 NVIDIA Jetson Thor 平台上的推理延迟从 3,552.7 毫秒减少至 703.3 毫秒。这代表与传统自回归解码相比，延迟大约减少了 80%。在 DGX Spark 硬件上，延迟从 3,356.5 毫秒降至 649.9 毫秒。VFlash 的运作原理是首先识别所请求视觉预测的结构，然后生成其坐标。
例如，边界框具有固定的坐标布局，而轨迹可以包含可变数量的二维和三维点。该模型使用轻量级扩散基础草拟器在一次前向传递中共同预测这些坐标。与传统的推测性解码不同，后者需要逐个检查生成的标记与目标模型的对应，VFlash 可以接受结构有效的视觉预测，而无需逐个标记的一致性。
研究人员在多个二维和三维机器人轨迹预测任务中评估了 VFlash。与基于自回归的基础方法相比，该方法在多个测试中减少了预测误差。在三维轨迹测试中，根据数据集和训练配置，它将平均位移误差降低多达 61%。研究人员还在 3D 点运动预测中测试了 VFlash，该方法预测了物体在影片帧中的未来运动。初步的单次滚动测量显示，生成速度比自回归解码快约 25 倍。
VFlash 在自动驾驶的应用
研究人员还探讨了更快的视觉预测是否能改善下游机器人控制系统的性能。他们将 VFlash 生成的轨迹连接到在 MolmoSpaces 上评估的世界行动模型，该模型在四个任务套件中的平均成功率达到 70.2%，而基线系统的成功率为 62.6%。最大的改进出现在拾取和放置以及物体闭合任务中，成功率分别提高了 11.6 和 12.8 个百分点。除了机器人技术，研究人员还使用 NAVSIM 和 Waymo 数据集测试了 VFlash 在自动驾驶中的应用。
该模型生成的驾驶轨迹在基准性能上具有竞争力，而增强学习进一步改善了其规划结果。这些发现表明，更高效地生成详细的视觉计划可能有助于实体 AI 系统在保持空间准确性的同时，更快地响应变化的环境。这项研究题为《VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding》，于 2026 年 11 月由 NVIDIA 研究人员及其合作者发表。
VFlash 对机器人技术的影响
VFlash 技术的推出标志着机器人视觉规划的一个重要进步，能够显著提升机器人对环境的反应能力。随着机器人应用的需求日益增加，能够快速且准确地生成轨迹对于提升机器人性能至关重要。VFlash 不仅在机器人操作中显示出卓越的性能，还在自动驾驶领域展现出潜在的应用价值，可能改变未来自动驾驶系统的设计与实施。