Robbyant open-source LingBot-Touch Modell verbessert taktile Wahrnehmung und Flexibilität von Robotern

Robbyant, ein Unternehmen für verkörperte künstliche Intelligenz, das zur Ant Group gehört, hat LingBot-Touch als Open-Source-Modell veröffentlicht, das darauf abzielt, die taktile Wahrnehmungsfähigkeit von Robotern zu verbessern. Das Modell wurde auf fast 5.000 Stunden realer taktiler Daten vortrainiert und unterstützt drei Wahrnehmungsmodi: magnetische Taktilität, visuelle Taktilität und piezoresistive Sensorik. Es wandelt Signale von verschiedenen Sensoren in eine einheitliche taktile Darstellung um, sodass verschiedene Roboterhände und Bewegungsmodelle taktil relevante Informationen teilen und wiederverwenden können. Das Unternehmen erklärt, dass diese Fähigkeit die Ausführung feiner Aufgaben verbessern könnte, einschließlich Umblättern, Flaschenöffnen und Erkennen von Mahjong-Steinen.

LingBot-Touch ist ein Open-Source-Grundmodell, das darauf abzielt, Robotern zu helfen, physikalischen Kontakt von verschiedenen Sensortypen zu interpretieren. Das Modell adressiert eine der Hauptschwierigkeiten in der Robotik, nämlich die Beibehaltung und Wiederverwendung taktiler Wahrnehmungsfähigkeiten beim Wechseln von Sensoren, geschickten Händen und Steuerungsmodellen. Bestehende kommerzielle taktile Sensoren verwenden unterschiedliche Technologien, einschließlich magnetischer Taktilität, visueller Taktilität und piezoresistiver Sensorik. Jede Methode hat ihre eigenen Vor- und Nachteile, Kosten und Anwendungsbereiche, sodass es unwahrscheinlich ist, dass eine einzelne Wahrnehmungstechnologie den Markt dominiert. Dennoch erzeugen diese unterschiedlichen Wahrnehmungsprinzipien selbst bei der Erkennung des gleichen physischen Kontakts inkompatible Rohsignale.

Modelle, die auf einen einzelnen Sensortyp trainiert sind, können Schwierigkeiten haben, Wissen auf einen anderen Typ zu übertragen, was bedeutet, dass Entwickler bei jeder Hardwareänderung neue Datensätze sammeln, das Modell neu trainieren und das System anpassen müssen.

Überwindung von Sensorinkompatibilitätsproblemen

LingBot-Touch versucht, diese Einschränkung zu überwinden, indem es heterogene taktile Signale in eine gemeinsame Darstellung umwandelt. Die Architektur verwendet unabhängige Kodierungskanäle, um Daten aus verschiedenen Wahrnehmungstechnologien zu verarbeiten, und kartiert dann die Kontaktpunkte verschiedener Sensoranordnungen in einen gemeinsamen Koordinatenraum für die Fingerspitzen. Das gemeinsame Modell lernt anschließend, Kontaktpositionen, Kraftverteilungen und die zeitlichen Veränderungen dieser Eigenschaften zu interpretieren. Das letztendlich erzeugte einheitliche taktile Label ermöglicht es verschiedenen Roboterhänden und Bewegungsmodellen, auf dieselben erlernten taktilen Informationen zuzugreifen und diese wiederzuverwenden. Die Architektur erlaubt auch die Kombination von menschlichen Daten aus tragbaren taktilen Handschuhen und Roboterdaten aus Fernoperationen während des Trainings, was Entwicklern hilft, taktiles Wissen über Hardware-Plattformen hinweg zu übertragen, ohne für jede Sensoranordnung separate Wahrnehmungssysteme aufbauen zu müssen.

Das Unternehmen erklärt, dass diese Architektur auch auf aufkommende taktile Sensortechnologien ausgelegt ist.

Ergebnisse aus realen Anwendungstests

Robbyant hat das Modell durch 26 reale Anwendungstests mit zwei geschickten Roboterhänden, Sharpa Wave und XHand, bewertet. Bei der Verwendung von LingBot-Touch betrug die durchschnittliche Steigerung der Erfolgsquote der vier Bewegungsmodelle – LingBot-VLA, π0.5, Diffusion Policy und TRex – etwa 14 bis 26 Prozentpunkte. Ein Test beinhaltete die Verwendung des T-Rex-Bewegungsmodells zur Steuerung von Sharpa Wave, um eine Flasche zu öffnen.

Ohne taktile Eingaben betrug die Erfolgsquote des Roboters 56,25 %. Wenn die Rohsignalsignale direkt in das Bewegungsmodell eingegeben wurden, stieg die Erfolgsquote auf 62,5 %. Als LingBot-Touch die taktilen Informationen vor der Übertragung an die Strategie verarbeitete, erreichte die Erfolgsquote 90 %. Das Team testete auch, ob das Modell seine Fähigkeiten auf unterschiedliche Hardware übertragen kann. Der magnetische taktile Sensor, der bei XHand verwendet wird, war nicht in den Vortrainingsdaten von LingBot-Touch enthalten, sondern lernte magnetische taktile Informationen durch menschlich gesammelte Handschuh-Daten.

Robbyant hielt die Parameter des Grundmodells konstant und verwendete nur die Demodaten von XHand, um das Bewegungsmodell zu trainieren und die Wiederverwendbarkeit über Hardware hinweg zu bewerten.

Das Unternehmen bietet zwei Modellgrößen an, um Wahrnehmungsfähigkeit und Rechenanforderungen in Einklang zu bringen. Alle 26 realen Tests verwendeten LingBot-Touch-Tiny, das etwa 5,3 Millionen Parameter umfasst. Bei der Integration mit LingBot-VLA, π0.5 und T-Rex erhöhte sich die Gesamtmodellgröße nur um etwa 0,13 bis 0,16 %. Robbyant erklärt, dass das größere Modell, mit einem Vortrainingsdatensatz von fast 5.000 Stunden, auch weiteres Verbesserungspotenzial zeigt.

Technische Berichte und Quellcode sind über Hugging Face und GitHub verfügbar.