- SONIC 系統能執行自然的全身機器人運動，包括跑步和跳躍。
- 該系統通過單一策略訓練，提升對未見動作的泛化能力。
- SONIC 支持多模態控制，能接收視頻和音樂指令進行運動。
- 研究人員期望 SONIC 能推進通用類人自主性和高層次感知。
研究人員設計了一個大型框架，用於控制類人機器人，接受來自遠程操作、視頻、文本和音樂等多種輸入。該系統名為 SONIC，能夠使機器人執行自然的全身運動，包括跑步、跳躍、抓取以及在不同動作之間平滑過渡。與許多現有的專用控制器不同，SONIC 設計用於支持廣泛的動作，通過單一策略來實現。NVIDIA 的研究團隊在模擬和實際的類人機器人上演示了該框架，展現了其執行各種動作和日常任務的能力。
SONIC 系統的運作原理
SONIC 是一個大型的類人控制框架，以運動追蹤為基礎，生成自然的全身機器人運動。不同於為各種個別技能訓練獨立控制器，SONIC 使用一個策略，在超過 1 億個運動幀上進行訓練，使類人機器人能夠重現多樣的動作，同時提高其對訓練過程中未見過的動作的泛化能力。該系統解決了類人機器人技術的一個主要限制：現有控制策略通常是設計用於特定任務的相對較小神經網絡，新的行為往往需要單獨的工程目標和訓練。
SONIC 則將運動追蹤視為一個可擴展的學習問題，從人類運動數據中使用密集的逐幀監督，提供一致的訓練信號，涵蓋大量多樣的行為。
研究人員在三個維度上擴展了 SONIC：訓練數據、模型容量和計算能力。訓練數據集包含超過 1 億個幀，來自約 700 小時的動作捕捉數據，而最大的模型包含 4200 萬個參數。訓練過程使用了多達 128 個 GPU 和約 21,000 小時的 GPU 時間，實驗顯示隨著數據、模型大小和計算能力的增加，跟蹤和泛化的效果逐步提升。SONIC 的一個核心組件是其通用標記空間，允許不同類型的運動輸入轉換為共享表示。
專門的編碼器處理機器人運動、人類運動和混合命令，然後將其轉換為量化的標記，輸入到共同的機器人控制解碼器中。這一架構使得同一控制策略能夠將運動追蹤與虛擬現實遠程操作、基於視頻的控制、文本命令、音樂驅動的運動生成及視覺-語言-動作模型相連接。
多模態控制的應用
該團隊在一份聲明中表示：「我們期望 SONIC 能夠作為一個實用的基礎，進而構建更高層次的感知和推理，以推進通用類人自主性。」該框架還包括一個實時運動規劃器，生成關鍵幀之間的短暫運動片段。該規劃器可以根據進來的命令持續重新規劃，使方向、速度和運動風格的互動變化成為可能，而無需重新訓練基礎政策。這使得 SONIC 擁有了將高層次運動意圖轉換為持續全身運動的控制層。
在多模態控制方面，SONIC 可以接收來自視頻、人類運動生成的自然語言指令或音樂的運動，並將這些動作輸入其追蹤策略。視頻輸入可以來自預錄的片段或實時的攝像頭流，而文本提示可以指定如行走或踢腿等動作。基於音樂的控制能夠從節奏和旋律信息生成舞蹈動作，該系統能夠在不同輸入模態之間進行過渡。研究人員在 Unitree G1 類人機器人上部署了 SONIC，並展示了其在現實世界中跟蹤多樣動作的能力。
該系統在 123 個現實世界的動作序列中達到 99.2% 的成功率，而在模擬中則為 100%，顯示出相對較小的模擬與現實性能差距。
SONIC 還通過其通用標記接口連接到視覺-語言-動作模型。在五個全身任務中，該系統的平均成功率達到 75%，包括物體拾取、用腳踏板打開垃圾桶，以及協調手部和腳部動作將飲料罐放入垃圾箱。研究人員認為，這種共享動作表示可以使更高層次的人工智能系統更容易控制整個類人機器人，而不是將行走和操作視為分開的問題。
SONIC 對類人機器人技術的影響
SONIC 系統的開發標誌著類人機器人技術的一個重要進步，因為它能夠通過單一控制策略實現多樣化的運動，克服了傳統控制方法的局限性。這不僅提高了機器人的運動能力，還使其能夠更靈活地適應不同的任務和環境。隨著多模態控制的實現，SONIC 能夠接收來自不同來源的指令，這對於未來的自主系統設計具有重要意義，能促進更高層次的人工智能應用。