- LingBot-Touchはオープンソースの触覚基礎モデルで、機械の触覚感知能力を向上させる。
- このモデルは三つの感知モードをサポートし、触覚情報を共有および再利用できる。
- モデルは複数の実際の操作テストで成功率が著しく向上したことを示している。
- Robbyantは、感知能力と計算要求のバランスを取るために二つのモデルサイズを提供している。
Robbyantは、Ant Group傘下の具身人工知能会社として、機械の触覚感知能力を向上させることを目的とした触覚基礎モデルLingBot-Touchをオープンソース化した。このモデルは、近く5,000時間の実際の触覚データで事前訓練され、三つの感知モード：磁気触覚、視覚触覚、圧阻センサーをサポートしている。異なるセンサーからの信号を統一された触覚表現に変換することで、異なるロボットハンドや動作モデルが触覚関連情報を共有および再利用できるようにする。この能力は、ページをめくる、キャップを開ける、麻雀牌を識別するなどの精密な操作タスクを改善する可能性があると同社は述べている。
LingBot-Touchは、ロボットが異なるタイプのセンサーによる物理的接触を解釈するのを助けるために設計されたオープンソースの触覚基礎モデルである。このモデルは、センサー、巧妙な手、制御モデルを切り替える際に、ロボットが触覚感知能力を保持し再利用できるようにするというロボット操作における主要な課題に対処している。既存の商用触覚センサーは、磁気触覚、視覚触覚、圧阻センサーなど、異なる技術を使用している。それぞれの方法には利点と欠点、コスト、適用シーンがあるため、単一の感知技術が市場を支配することは考えにくい。しかし、これらの異なる感知原理は、同じ物理的接触を検出する際に互換性のない生の信号を生成することがある。
単一のセンサータイプで訓練されたモデルは、別のタイプに知識を移転する際に困難に直面する可能性があり、開発者はハードウェアの変更ごとに新しいデータセットを収集し、モデルを再訓練し、システムを調整する必要がある。
センサーの非互換性問題を克服する
LingBot-Touchは、この制限を克服し、異質な触覚信号を共有表現に変換しようと試みている。そのアーキテクチャは、異なる感知技術からのデータを処理するために独立したエンコーディングチャネルを使用し、異なるセンサー配置の接触点を共通の指先座標空間にマッピングする。共有モデルは、その後、接触位置、力の分布、これらの属性が時間とともにどのように変化するかを解釈することを学習する。最終的に生成される統一触覚マークは、異なるロボットハンドや動作モデルが同じ学習触覚情報にアクセスし再利用できるようにする。このアーキテクチャは、訓練プロセス中に触覚グローブを装着した人間のデータや遠隔操作のロボットハンドデータを組み合わせることも可能で、開発者が各センサー設定ごとに独立した感知システムを構築することなく、ハードウェアプラットフォームを超えて触覚知識を移転するのに役立つ。
同社は、このアーキテクチャが新興の触覚センサー技術にも対応できると述べている。
実際の操作テストで効果を示す
Robbyantは、26件の現実操作テストを通じて、二つの巧妙なロボットハンドSharpa WaveとXHandに対してこのモデルを評価した。四つの動作モデル—LingBot-VLA、π0.5、Diffusion Policy、TRex—は、LingBot-Touchを使用することで、タスクの成功率が平均14から26パーセントポイント向上した。一つのテストでは、T-Rex動作モデルを使用してSharpa Waveがキャップを開ける操作が行われた。
触覚入力を使用しない場合、ロボットの成功率は56.25%であり、原始センサー信号が動作モデルに直接入力された際には成功率が62.5%に向上した。LingBot-Touchが触覚情報を戦略に渡す前に処理を行った場合、成功率は90%に達した。チームはまた、このモデルが異なるハードウェアにその能力を移転できるかどうかをテストした。XHandが使用する磁気触覚センサーはLingBot-Touchの事前訓練データには含まれておらず、人間が収集したグローブデータを通じて磁気触覚情報を学習した。
Robbyantは基礎モデルのパラメータを変更せず、XHandのデモデータのみを使用して動作モデルを訓練し、ハードウェア間の再利用を評価した。
同社は、感知能力と計算要求のバランスを取るために二つのモデルサイズを提供している。すべての26件の現実テストは、約5.3百万のパラメータを含むLingBot-Touch-Tinyを使用して行われた。LingBot-VLA、π0.5、T-Rexと統合する際には、総モデルサイズが約0.13から0.16%増加するだけである。Robbyantは、事前訓練データセットが5,000時間に近づくにつれて、より大きなモデルもさらなる改善の可能性を示していると述べている。
技術報告書およびソースコードは、Hugging FaceおよびGitHubで入手可能である。
項目 仕様 モデル名 LingBot-Touch-Tiny パラメータ数 約5.3百万 成功率向上 14から26パーセントポイント
LingBot-Touchがロボット技術に与える影響
LingBot-Touchのオープンソース設計は、ロボットの触覚感知能力を向上させるだけでなく、異なるセンサー間のデータ不互換性問題を解決する。モデルの成功した実施は、ハードウェアプラットフォームを超えた触覚知識の移転の可能性を示しており、今後のロボット技術の発展に重要な意義を持つ。ロボットの応用範囲が拡大するにつれて、LingBot-Touchはロボットの柔軟性と精度を向上させる重要な技術となり、スマートロボット市場の進展をさらに推進する可能性がある。