- 喬治亞理工學院開發新框架，提升人形機械人行走能力。
- 新控制器能在多種地形上行走，減少訓練時間和計算需求。
- 研究團隊同時訓練教師和學生模型，顯著縮短訓練過程。
- 該框架可應用於其他機器人設計和任務，顯示其廣泛潛力。
喬治亞理工學院的研究團隊開發了一個全新的機器學習框架，使一個人形機器人能夠在沙地、碎石、潮濕的草地、坡道、樓梯和滑溜的表面上行走，同時減少訓練其控制器所需的時間和計算能力。研究人員表示，他們的方法稱為「學習教導」，在一種流行的教師-學生強化學習方法上進行改進，通過同時訓練兩個代理而非逐步訓練，從而提高了效率。最終的結果是，這個控制器能夠應對其從未接受過訓練的地形，同時需要的計算資源更少。
這個控制器已在一個雙足人形機器人上進行測試，成功地穿越了一系列具挑戰性的室外和室內表面。團隊還在實驗中推拉機器人，機器人隨即調整步態以保持穩定。這項工作在 IEEE 國際機器人與自動化會議 (ICRA) 上發表，研究人員描述了一個可以適應其他機器人和任務的訓練框架。
新訓練方法的優勢
傳統的教師-學生強化學習依賴於首先創建一個擁有詳細模擬數據的「教師」模型。在教師模型完全訓練後，它將知識傳遞給控制真實機器人的「學生」模型。根據首席研究員吳飛揚的説法，這一過程存在兩個主要缺陷。「這種方法有兩個問題。首先，按順序訓練需要花費過多時間。其次，會浪費很多由教師收集的信息。」通過模擬訓練機器人控制器，可能需要在昂貴的 GPU 硬件上進行數小時的計算，這使得過程既耗時又費用高昂。
喬治亞理工學院的團隊選擇同時訓練教師和學生，而不是等待教師掌握任務。隨著教師逐步學習，它立即開始將知識傳遞給學生，顯著縮短了訓練過程。吳表示：「你不必等到教師成為專家後才開始教學生，教師可以逐步將他們在過程中學到的知識教授給學生。」
控制器的實際應用
研究人員還允許教師從學生的經驗中學習。這減少了機器人學家所稱的教師-學生模仿差距，即學生遇到的情況與教師理想化的模擬不同。新的控制器在副教授趙燁的實驗室中部署於一個全尺寸人形機器人上。該機器人能夠在粗糙的室外地形和滑溜的室內表面中導航，而不需要為不同的環境依賴單獨的控制器。吳表示，團隊並未預期同一個控制器能在多種條件下表現如此出色。「對於這種笨重且非常高的人形機器人，尚未證明可以在如此艱苦的地形上進行靈活的行走。
某種程度上，我們非常有效的訓練方法能夠在各種地形和環境中運作。」
趙表示，這個控制器甚至超越了機器人製造商提供的軟件，顯示了將機器學習研究與現實機器人技術相結合的價值。除了人形行走，研究人員相信「學習教導」框架可以應用於其他需要在不可預測環境中可靠運動的機器人設計和任務。這項研究在 IEEE 國際機器人與自動化會議上發表。
新框架如何改變機器人訓練方式
這項研究的突破在於其創新的訓練方法，通過同時訓練教師和學生模型，顯著提高了效率，並減少了對計算資源的需求。這不僅提升了人形機械人在複雜地形上的行走能力，也為未來的機器人技術發展奠定了基礎。隨著機器人技術的進步，這種高效的訓練框架可能會被廣泛應用於各類機器人，使其能在不可預測的環境中更可靠地運作。