- Teknologi VFlash dapat mempercepat dekode jalur robot hingga 12 kali, dengan pengurangan kesalahan prediksi sebesar 61%.
- VFlash memungkinkan generasi jalur robot yang lengkap dalam satu proses, meningkatkan efisiensi.
- Dalam pengujian, VFlash secara signifikan mengurangi latensi inferensi, meningkatkan kecepatan respons robot.
- Penelitian juga mengeksplorasi aplikasi VFlash dalam mengemudi otonom, menunjukkan potensinya.
Para peneliti NVIDIA telah mengembangkan metode perencanaan visual baru yang mampu mempercepat dekode jalur robot hingga 12 kali, sekaligus mengurangi kesalahan prediksi jalur tiga dimensi hingga 61% dalam pengujian tertentu. Metode ini bernama VFlash, yang memungkinkan model bahasa visual (VLMs) untuk menghasilkan jalur robot lengkap dan prediksi spasial lainnya dalam satu proses, bukan dengan menghasilkan koordinat secara bertahap. Dalam pengujian operasi robot, VFlash juga mengurangi latensi inferensi keseluruhan pada platform NVIDIA Jetson Thor dan DGX Spark sekitar 80%, berpotensi membantu robot merespons lingkungan yang berubah lebih cepat.
Keunggulan Teknologi VFlash
Penelitian ini mengatasi salah satu keterbatasan VLMs tradisional, yang biasanya menghasilkan prediksi spasial satu per satu. Seiring dengan kebutuhan robot untuk memprediksi jalur yang lebih panjang, melacak lebih banyak objek, dan menangani informasi spasial yang lebih detail, metode pemrosesan berurutan ini dapat meningkatkan waktu pemrosesan. VFlash memanfaatkan struktur prediksi visual yang sudah diketahui untuk menghasilkan seluruh objek geometris atau jalur dalam satu kali forward pass.
Dalam pengujian operasi robot, para peneliti melaporkan bahwa latensi inferensi VFlash pada platform NVIDIA Jetson Thor berkurang dari 3,552.7 milidetik menjadi 703.3 milidetik. Ini berarti latensi berkurang sekitar 80% dibandingkan dengan dekode autoregressive tradisional. Pada perangkat keras DGX Spark, latensi berkurang dari 3,356.5 milidetik menjadi 649.9 milidetik. Cara kerja VFlash adalah dengan terlebih dahulu mengidentifikasi struktur prediksi visual yang diminta, kemudian menghasilkan koordinatnya.
Misalnya, bounding box memiliki tata letak koordinat tetap, sementara jalur dapat mencakup jumlah titik dua dimensi dan tiga dimensi yang bervariasi. Model ini menggunakan draft dasar difusi ringan untuk memprediksi koordinat ini secara bersamaan dalam satu kali forward pass. Berbeda dengan dekode inferensif tradisional, yang memerlukan pemeriksaan satu per satu untuk mencocokkan label yang dihasilkan dengan model target, VFlash dapat menerima prediksi visual yang struktural valid tanpa perlu konsistensi label satu per satu.
Para peneliti mengevaluasi VFlash dalam berbagai tugas prediksi jalur robot dua dimensi dan tiga dimensi. Dibandingkan dengan metode dasar berbasis autoregressive, metode ini mengurangi kesalahan prediksi dalam beberapa pengujian. Dalam pengujian jalur tiga dimensi, tergantung pada dataset dan konfigurasi pelatihan, ia mengurangi kesalahan perpindahan rata-rata hingga 61%. Para peneliti juga menguji VFlash dalam prediksi gerakan titik 3D, di mana metode ini memprediksi gerakan masa depan objek dalam bingkai video. Pengukuran gulir tunggal awal menunjukkan bahwa kecepatan generasi lebih cepat sekitar 25 kali dibandingkan dengan dekode autoregressive.
Aplikasi VFlash dalam Mengemudi Otonom
Para peneliti juga mengeksplorasi apakah prediksi visual yang lebih cepat dapat meningkatkan kinerja sistem kontrol robot downstream. Mereka menghubungkan jalur yang dihasilkan oleh VFlash ke model tindakan dunia yang dievaluasi di MolmoSpaces, di mana model tersebut mencapai tingkat keberhasilan rata-rata 70.2% dalam empat paket tugas, dibandingkan dengan tingkat keberhasilan sistem baseline yang sebesar 62.6%. Peningkatan terbesar terjadi dalam tugas pengambilan dan penempatan serta tugas penutupan objek, dengan peningkatan tingkat keberhasilan masing-masing sebesar 11.6 dan 12.8 poin persentase. Selain teknologi robotika, para peneliti juga menguji aplikasi VFlash dalam mengemudi otonom menggunakan dataset NAVSIM dan Waymo.
Jalur mengemudi yang dihasilkan oleh model ini memiliki kinerja yang kompetitif dalam benchmark, sementara pembelajaran penguatan lebih lanjut meningkatkan hasil perencanaannya. Temuan ini menunjukkan bahwa menghasilkan rencana visual yang lebih detail secara efisien dapat membantu sistem AI fisik merespons lingkungan yang berubah lebih cepat sambil mempertahankan akurasi spasial. Penelitian ini berjudul "VFlash: Fast, Accurate Visual Planning via Flash Primitive Decoding", yang diterbitkan pada November 2026 oleh para peneliti NVIDIA dan rekan-rekannya.
Dampak VFlash terhadap Teknologi Robotika
Pengenalan teknologi VFlash menandai kemajuan penting dalam perencanaan visual robot, yang dapat secara signifikan meningkatkan kemampuan respons robot terhadap lingkungan. Dengan meningkatnya permintaan untuk aplikasi robot, kemampuan untuk menghasilkan jalur dengan cepat dan akurat sangat penting untuk meningkatkan kinerja robot. VFlash tidak hanya menunjukkan kinerja yang luar biasa dalam operasi robot, tetapi juga menunjukkan nilai aplikasi potensial dalam bidang mengemudi otonom, yang dapat mengubah desain dan implementasi sistem mengemudi otonom di masa depan.

