NVIDIAがVFlash技術を発表、ロボットの軌跡デコード速度を12倍に加速し、予測誤差を61%低減

NVIDIAの研究者は、新しい視覚計画手法を開発し、ロボットの軌跡デコードを12倍加速し、特定のテストにおいて三次元軌跡の予測誤差を最大61%低減することに成功した。この手法はVFlashと呼ばれ、視覚言語モデル（VLMs）が一度のプロセスで完全なロボット軌跡やその他の空間予測を生成できるようにするもので、逐次的に座標を生成するのではなく、一度に生成することが可能である。ロボット操作のテストにおいて、VFlashはNVIDIA Jetson ThorおよびDGX Sparkプラットフォームの全体的な推論遅延を約80%減少させ、ロボットが変化する環境に迅速に対応できる可能性を秘めている。

VFlash技術の利点

この研究は、従来のVLMsの制約を解決したもので、従来は逐次的に座標を生成して空間予測を行っていた。ロボットがより長い軌跡を予測し、より多くの物体を追跡し、より詳細な空間情報を処理する必要がある中で、この逐次処理の手法は処理時間を増加させる可能性がある。VFlashは、既知の視覚予測構造を利用して、一度の前方伝播で全体の幾何学的物体や軌跡を生成する。

ロボット操作のテストにおいて、研究者はVFlashがNVIDIA Jetson Thorプラットフォームでの推論遅延を3,552.7ミリ秒から703.3ミリ秒に減少させたことを報告した。これは、従来の自己回帰デコードと比較して、遅延が約80%減少したことを示している。DGX Sparkハードウェアでは、遅延が3,356.5ミリ秒から649.9ミリ秒に減少した。VFlashの動作原理は、まず要求された視覚予測の構造を特定し、その後に座標を生成することである。

例えば、境界ボックスは固定の座標レイアウトを持ち、軌跡は可変数の二次元および三次元点を含むことができる。このモデルは軽量な拡散ベースの草案作成器を使用して、一度の前方伝播でこれらの座標を共同予測する。従来の推測的デコードとは異なり、後者は生成されたマークが目標モデルに対応しているかを逐次確認する必要があるが、VFlashは構造的に有効な視覚予測を受け入れることができ、逐次的なマークの一貫性を必要としない。

研究者は、複数の二次元および三次元ロボット軌跡予測タスクにおいてVFlashを評価した。自己回帰に基づく基本手法と比較して、この手法は複数のテストで予測誤差を減少させた。三次元軌跡テストでは、データセットとトレーニング設定に応じて、平均移動誤差を最大61%低減した。研究者はまた、3Dポイント運動予測においてVFlashをテストし、この手法は物体が映像フレーム内で将来どのように動くかを予測した。初期の単回転測定では、生成速度が自己回帰デコードより約25倍速いことが示された。

VFlashの自動運転への応用

研究者は、より速い視覚予測が下流のロボット制御システムの性能を向上させるかどうかも探求した。彼らはVFlashが生成した軌跡をMolmoSpacesで評価された世界行動モデルに接続し、このモデルは4つのタスクセットで平均成功率70.2%を達成し、ベースラインシステムの成功率62.6%を上回った。最大の改善は、ピックアンドプレースおよび物体閉じタスクに見られ、それぞれ成功率が11.6および12.8パーセントポイント向上した。ロボット技術に加えて、研究者はNAVSIMおよびWaymoデータセットを使用してVFlashの自動運転への応用をテストした。

このモデルが生成した運転軌跡は、ベンチマーク性能において競争力があり、強化学習がその計画結果をさらに改善した。これらの発見は、詳細な視覚計画をより効率的に生成することが、実体AIシステムが空間的な正確性を保ちながら、変化する環境により迅速に対応するのに役立つ可能性があることを示している。この研究は「VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding」という題名で、2026年11月にNVIDIAの研究者およびその共同研究者によって発表された。

VFlashがロボット技術に与える影響

VFlash技術の導入は、ロボット視覚計画における重要な進展を示し、ロボットの環境への反応能力を大幅に向上させることができる。ロボット応用の需要が高まる中で、迅速かつ正確に軌跡を生成することは、ロボットの性能向上にとって重要である。VFlashは、ロボット操作において卓越した性能を示すだけでなく、自動運転分野においても潜在的な応用価値を示し、将来の自動運転システムの設計と実施に変革をもたらす可能性がある。