Robbyant Meluncurkan Model LingBot-Touch untuk Meningkatkan Persepsi Sentuhan dan Fleksibilitas Robot

·oleh Henderson·Engineering
Robbyant Meluncurkan Model LingBot-Touch untuk Meningkatkan Persepsi Sentuhan dan Fleksibilitas Robot
Poin Penting
  • LingBot-Touch adalah model dasar sentuhan open-source yang meningkatkan kemampuan persepsi sentuhan robot.
  • Model ini mendukung tiga mode persepsi, memungkinkan berbagi dan penggunaan kembali informasi sentuhan.
  • Model ini menunjukkan peningkatan signifikan dalam tingkat keberhasilan dalam berbagai pengujian operasi nyata.
  • Robbyant menyediakan dua ukuran model untuk menyeimbangkan kemampuan persepsi dan kebutuhan komputasi.

Robbyant, sebagai perusahaan kecerdasan buatan yang berfokus pada embodied AI di bawah Ant Group, telah merilis LingBot-Touch, sebuah model dasar sentuhan yang bertujuan untuk meningkatkan kemampuan persepsi sentuhan robot. Model ini telah dilatih sebelumnya menggunakan hampir 5.000 jam data sentuhan nyata dan mendukung tiga mode persepsi: sentuhan magnetik, sentuhan visual, dan pengukuran piezoresistif. Model ini mengubah sinyal dari berbagai sensor menjadi representasi sentuhan yang seragam, sehingga memungkinkan berbagai tangan robot dan model gerakan untuk berbagi dan menggunakan kembali informasi terkait sentuhan. Perusahaan menyatakan bahwa kemampuan ini dapat meningkatkan tugas-tugas operasi halus, termasuk membalik halaman, membuka tutup botol, dan mengenali kartu Mahjong.

LingBot-Touch adalah model dasar sentuhan open-source yang dirancang untuk membantu robot memahami kontak fisik dari berbagai jenis sensor. Model ini menangani tantangan utama dalam operasi robot, yaitu mempertahankan dan menggunakan kembali kemampuan persepsi sentuhan saat beralih antara sensor, tangan yang lincah, dan model kontrol. Sensor sentuhan komersial yang ada menggunakan berbagai teknologi, termasuk sentuhan magnetik, sentuhan visual, dan pengukuran piezoresistif. Setiap metode memiliki kelebihan, kekurangan, biaya, dan skenario aplikasi masing-masing, sehingga tidak mungkin ada satu teknologi persepsi yang mendominasi pasar. Namun, prinsip persepsi yang berbeda ini dapat menghasilkan sinyal mentah yang tidak kompatibel meskipun mendeteksi kontak fisik yang sama.

Model yang dilatih untuk satu jenis sensor mungkin mengalami kesulitan dalam mentransfer pengetahuan ke jenis lain, yang mengharuskan pengembang untuk mengumpulkan dataset baru, melatih ulang model, dan menyesuaikan sistem setiap kali ada perubahan perangkat keras.

Mengatasi Masalah Ketidakcocokan Sensor

LingBot-Touch berusaha mengatasi batasan ini dengan mengubah sinyal sentuhan heterogen menjadi representasi yang dapat dibagikan. Arsitekturnya menggunakan saluran pengkodean independen untuk memproses data dari berbagai teknologi persepsi, kemudian memetakan titik kontak dari berbagai tata letak sensor ke dalam ruang koordinat ujung jari yang umum. Model berbagi kemudian belajar untuk menginterpretasikan lokasi kontak, distribusi kekuatan, dan bagaimana atribut ini berubah seiring waktu. Label sentuhan yang dihasilkan secara bersatu memungkinkan berbagai tangan robot dan model gerakan untuk mengakses dan menggunakan kembali informasi sentuhan yang sama. Arsitektur ini juga memungkinkan penggabungan data manusia yang mengenakan sarung tangan sentuhan dan data tangan robot yang dikendalikan dari jarak jauh selama proses pelatihan, membantu pengembang mentransfer pengetahuan sentuhan di berbagai platform perangkat keras tanpa harus membangun sistem persepsi terpisah untuk setiap konfigurasi sensor.

Perusahaan menyatakan bahwa arsitektur ini juga dapat mengakomodasi teknologi sensor sentuhan baru yang muncul.

Pengujian Operasi Nyata Menunjukkan Hasil

Robbyant mengevaluasi model ini melalui 26 pengujian operasi nyata yang melibatkan dua tangan robot lincah, Sharpa Wave dan XHand. Empat model gerakan—LingBot-VLA, π0.5, Diffusion Policy, dan TRex—menunjukkan peningkatan rata-rata tingkat keberhasilan sekitar 14 hingga 26 persen saat menggunakan LingBot-Touch. Salah satu pengujian melibatkan penggunaan model gerakan T-Rex untuk mengendalikan Sharpa Wave dalam membuka tutup botol.

Tanpa menggunakan input sentuhan, tingkat keberhasilan robot adalah 56,25%, dan ketika sinyal sensor asli langsung dimasukkan ke dalam model gerakan, tingkat keberhasilan meningkat menjadi 62,5%. Ketika LingBot-Touch memproses informasi sentuhan sebelum disampaikan ke strategi, tingkat keberhasilan mencapai 90%. Tim juga menguji apakah model ini dapat mentransfer kemampuannya ke perangkat keras yang berbeda. Sensor sentuhan magnetik yang digunakan oleh XHand tidak ada dalam data pelatihan sebelumnya LingBot-Touch, tetapi belajar informasi sentuhan magnetik melalui data sarung tangan yang dikumpulkan oleh manusia.

Robbyant mempertahankan parameter model dasar tanpa perubahan, hanya menggunakan data demonstrasi XHand untuk melatih model gerakan, guna mengevaluasi penggunaan kembali di berbagai perangkat keras.

Perusahaan menyediakan dua ukuran model untuk menyeimbangkan kemampuan persepsi dan kebutuhan komputasi. Semua 26 pengujian nyata menggunakan LingBot-Touch-Tiny, yang memiliki sekitar 5,3 juta parameter. Ketika diintegrasikan dengan LingBot-VLA, π0.5, dan T-Rex, total ukuran model hanya meningkat sekitar 0,13 hingga 0,16%. Robbyant menyatakan bahwa dengan dataset pelatihan sebelumnya mendekati 5.000 jam, model yang lebih besar juga menunjukkan potensi untuk perbaikan lebih lanjut.

Laporan teknis dan kode sumber dapat diakses melalui Hugging Face dan GitHub.

ItemSpesifikasi
Nama ModelLingBot-Touch-Tiny
Jumlah Parametersekitar 5,3 juta
Peningkatan Tingkat Keberhasilan14 hingga 26 persen

Dampak LingBot-Touch pada Teknologi Robot

Desain open-source LingBot-Touch tidak hanya meningkatkan kemampuan persepsi sentuhan robot, tetapi juga mengatasi masalah ketidakcocokan data antar sensor. Keberhasilan implementasi model ini menunjukkan potensi transfer pengetahuan sentuhan di berbagai platform perangkat keras, yang memiliki arti penting bagi perkembangan teknologi robot di masa depan. Seiring dengan meluasnya aplikasi robot, LingBot-Touch dapat menjadi teknologi kunci dalam meningkatkan fleksibilitas dan akurasi robot, serta mendorong kemajuan pasar robot cerdas.

H
Tentang penulis
Henderson