機器人通過模仿學習掌握多項實用技能

一款機器人已經學會了保齡球、摺毛巾、拆蓋、倒飲品及製作新鮮橙汁，透過首先模仿人類示範，然後通過自主學習來提升其技能。研究人員開發了一種新的訓練框架，名為 RL-100，結合了模仿學習和強化學習，使機器人能夠以高可靠性執行各種現實世界的操作任務。在測試中，系統能夠適應不熟悉的情況，從幹擾中恢復，甚至在多項任務中與人類遠程操作員相匹配或超越。該機器人還在公共商場中持續操作了七小時，為顧客提供新鮮果汁，並且沒有出現過一次故障。

RL-100框架的學習流程

智能機器人學習是由上海交通大學的研究團隊主導開發的，該框架 RL-100 使機器人首先從示範中獲得安全的類人行為，然後通過自主的反覆實驗來改善這些技能。這種方法克服了機器人技術的一大挑戰：超越僅僅模仿人類，實現更快、更可靠以及在非結構化環境中更具適應性的表現。研究人員受到兒童學習過程的啟發，嬰兒最初依賴父母的指導，然後逐漸通過獨立練習來改善自己的能力。RL-100 遵循相同的理念，通過三個階段的學習流程來實現。

第一階段使用模仿學習，機器人觀察由人類專家執行的遠程操作示範。這些示範訓練了一種基於擴散的視運動策略，使機器人能夠學習視覺輸入（通過 RGB 相機或 3D 點雲捕捉）與相應操作行為之間的關係。這一階段提供了一個穩定的行為基礎，但仍然受限於人類示範的質量和效率。為了克服這一「模仿天花板」，第二階段引入了迭代的離線強化學習。機器人不再僅依賴人類數據，而是重複執行任務，存儲結果經驗，並利用示範數據和自身成功的嘗試進行再訓練。

一個統一的基於近端策略優化（PPO）的目標使系統能夠在不破壞先前學習的行為的情況下精煉擴散策略，而一種離線策略評估機制則防止了可能降低性能的更新。最後一階段則是在物理機器人上直接應用少量的在線強化學習。這一階段特別針對離線訓練後仍存在的罕見失敗案例，將可靠性從大約 90% 的成功率提高到接近完美的任務完成率，同時需要相對較少的額外實際數據。

機器人成功的現實應用

RL-100 還解決了擴散策略的一個關鍵實用限制——計算延遲。標準的擴散模型在執行每個動作之前需要多次去噪步驟，這使得它們在高頻機器人控制中過於緩慢。為瞭解決這一問題，研究人員開發了一種一致性模型蒸餾技術，將多步擴散策略壓縮為單步控制器，將推斷延遲從約 100 毫秒減少到約 10 毫秒，同時保持性能。這使得在部署過程中反應時間更快，控制更平滑。

該框架旨在無關任務、機器人和表示，支持單臂和雙臂機器人、單次行動和行動分塊控制，以及 RGB 圖像或 3D 點雲，而無需改變底層學習框架。研究人員在八個具有挑戰性的操作任務中評估了 RL-100，這些任務涉及剛性物體、可變形材料、液體及精密組裝，包括保齡球、摺毛巾、倒飲品、拆蓋、摺盒以及製作橙汁的兩個階段。在完成整個訓練流程後，機器人在 1,000 次評估試驗中達到了 100% 的成功率，在任務完成速度上與專家人類遠程操作員相匹配或超越，且能夠適應未見的物體和環境變化，而無需再訓練，即使在研究人員對其行動進行物理幹擾時也依然保持穩健。

在一次現實世界的部署中，該機器人在商場內持續為顧客準備新鮮橙汁達七小時，並且沒有出現過一次故障，這證明瞭該框架在家庭、工廠和公共場所進行可靠長期運作的潛力。