NVIDIA 在國際機器人與自動化會議（ICRA）上展示的一系列新研究表明，完全在模擬環境中訓練的機器人正開始在現實世界中表現得更加可靠。這些研究專注於機器人技術面臨的一大挑戰：縮小“模擬到現實”的差距，因為在虛擬環境中訓練的機器人在被部署到受控實驗室條件之外時，往往會遭遇困難。NVIDIA 研究部門表示，八篇被接受的 ICRA 論文展示了在機器人導航、抓取、組裝和推理方面的進展，這些技術均基於模擬學習系統。
這些項目的目的是幫助機器人適應不可預測的現實世界環境，而不是依賴僵硬的腳本化行為。
NVIDIA 的研究顯示模擬訓練的機器人在現實世界中表現更佳
這些研究涵蓋了多個機器人技術領域，包括多臂協作、人形導航、物體操作及視覺-語言-行動模型，這些模型使機器人能在執行任務前進行推理。NVIDIA 的研究人員強調了一個名為 COMPASS 的系統，該系統完全在 NVIDIA Isaac Lab 模擬環境中訓練機器人，然後將這些技能轉移到不同的實體機器人身體上。研究人員表示，該框架在 20 次現實世界導航試驗中，對自主移動機器人和人形機器人實現了約 80% 的成功率，並且與模仿學習基準相比，平均成功率提高了 4.5 倍。
另一個名為 Grasp-MPC 的項目專注於在雜亂環境中進行機器人抓取。該系統不依賴固定的運動計劃，而是持續調整其運動以接近物體。研究人員使用兩百萬條模擬軌跡訓練該模型，涉及 8,000 個物體。在現實世界測試中，該系統在不熟悉的物體上實現了約 75% 的抓取成功率，而基準方法的成功率僅為 41%。NVIDIA 的研究人員還開發了一個名為 Deformable Cluster Manipulation 的系統，旨在處理纏繞或柔性材料，例如電線周圍的樹枝。
該框架訓練機器人使用整個手臂，而不僅僅是抓取器，從而使機器能夠以類似人類的動作收集或掃除物體。
幾篇論文同樣聚焦於提升機器人的組裝和推理能力。SPARR 框架將機器人組裝分為兩個階段。第一個策略在模擬環境中學習組裝策略，而第二層則在真實硬件上運行，修正由於模擬和物理環境之間的差異而產生的錯誤。研究人員表示，該方法將組裝成功率提高了 38%，並將循環時間減少了約 30%，與零-shot 模擬到現實基準相比。另一個名為 PEEK 的系統幫助機器人忽略不相關的視覺雜亂，專注於完成任務所需的物體。
NVIDIA 表示，該框架在純粹在模擬中訓練的策略中，現實世界機器人的準確度提高了多達 41 倍。
此外，涉及卡內基梅隆大學、猶他大學和悉尼大學的合作，引入了一個名為 SEAL 的框架，旨在防止機器人執行與其計劃推理步驟不同的行動。該方法使機器人能夠在選擇最符合原始指示的行動序列之前，評估多個行動序列。除了個別項目外，NVIDIA 表示其更廣泛的機器人生態系統通過開放數據集和模擬平台持續擴展，包括 Isaac Lab、Isaac GR00T X Embodiment Sim 和 Omniverse NuRec。