- LingBot-Touch 是一款開源觸覺基礎模型，提升機器人觸覺感知能力。
- 該模型支持三種感知模態，能共享和重用觸覺資訊。
- 模型在多項現實操作測試中顯示出成功率顯著提升。
- Robbyant 提供兩種模型大小以平衡感知能力和計算需求。
Robbyant，作為螞蟻集團旗下的具身人工智能公司，已開源 LingBot-Touch，這是一款旨在提升機器人觸覺感知能力的觸覺基礎模型。該模型在近 5,000 小時的實際觸覺數據上進行了預訓練，支持三種感知模態：磁性觸覺、視覺觸覺及壓阻感測。它將來自不同傳感器的信號轉換為統一的觸覺表示，從而使不同的機器人手及動作模型能夠共享和重用觸覺相關的資訊。該公司表示，這項能力可能改善精細操作任務，包括翻頁、打開瓶蓋及識別麻將牌。
LingBot-Touch 是一個開源的觸覺基礎模型，旨在幫助機器人解讀不同類型傳感器的物理接觸。該模型針對機器人操作中的一個主要挑戰，即在切換傳感器、靈巧手及控制模型時，使機器人能夠保留和重用觸覺感知能力。現有的商用觸覺傳感器使用不同的技術，包括磁性觸覺、視覺觸覺及壓阻感測。每種方法各有優缺點、成本及應用場景，因此不太可能出現單一感知技術主導市場的情況。然而，這些不同的感知原理即使在檢測相同的物理接觸時也會產生不兼容的原始信號。
針對單一傳感器類型進行訓練的模型在轉移知識到另一種類型時可能會遇到困難，這使得開發者每次硬件變更時都需要收集新的數據集、重新訓練模型及調整系統。
克服傳感器不兼容問題
LingBot-Touch 嘗試克服這一限制，將異質觸覺信號轉換為共享表示。其架構使用獨立的編碼通道來處理來自不同感知技術的數據，然後將不同傳感器佈局的接觸點映射到一個共同的手指尖坐標空間。共享模型隨後學習解釋接觸位置、力量分佈及這些屬性隨時間變化的情況。最終產生的統一觸覺標記使不同的機器人手和動作模型能夠訪問和重用相同的學習觸覺資訊。該架構還允許在訓練過程中結合來自佩戴觸覺手套的人類數據及遠程操作的機器人手數據，這有助於開發者在不必為每種傳感器配置建立獨立感知系統的情況下，跨硬件平台轉移觸覺知識。
該公司表示，這一架構還能夠容納新興的觸覺感測技術。
實際操作測試顯示成效
Robbyant 透過 26 項涉及兩個靈巧機器人手 Sharpa Wave 和 XHand 的現實操作測試對該模型進行了評估。四個動作模型—LingBot-VLA、π0.5、Diffusion Policy 和 TRex—在使用 LingBot-Touch 時，任務成功率的平均提升約為 14 至 26 個百分點。一項測試涉及使用 T-Rex 動作模型控制 Sharpa Wave 以打開瓶蓋。
在未使用觸覺輸入的情況下，機器人的成功率為 56.25%，當原始傳感器信號直接輸入動作模型時，成功率提升至 62.5%。當 LingBot-Touch 在將觸覺資訊傳遞給策略之前進行處理時，成功率達到 90%。團隊還測試了該模型是否能將其能力轉移至不同的硬件。XHand 使用的磁性觸覺傳感器不在 LingBot-Touch 的預訓練數據中，而是通過人類收集的手套數據學習了磁性觸覺資訊。
Robbyant 保持基礎模型的參數不變，只使用 XHand 演示數據訓練動作模型，以評估跨硬件的重用。
該公司提供兩種模型大小，以平衡感知能力和計算需求。所有 26 項現實測試都使用 LingBot-Touch-Tiny，該模型包含約 5.3 百萬個參數。當與 LingBot-VLA、π0.5 和 T-Rex 集成時，僅增加其總模型大小約 0.13 至 0.16%。Robbyant 表示，隨著其預訓練數據集接近 5,000 小時，較大模型也顯示出進一步改進的潛力。
技術報告及源代碼可通過 Hugging Face 和 GitHub 獲得。
項目 規格 模型名稱 LingBot-Touch-Tiny 參數數量 約 5.3 百萬 成功率提升 14 至 26 百分點
LingBot-Touch 對機器人技術的影響
LingBot-Touch 的開源設計不僅提升了機器人觸覺感知能力，還解決了不同傳感器間的數據不兼容問題。這一模型的成功實施，顯示了跨硬件平台的觸覺知識轉移潛力，對未來機器人技術的發展具有重要意義。隨著機器人應用範圍的擴大，LingBot-Touch 可能成為提升機器人靈活性和精確度的關鍵技術，進一步推動智能機器人市場的進步。