- LingBot-Touch เป็นโมเดลพื้นฐานแบบโอเพนซอร์สที่เพิ่มความสามารถในการรับรู้สัมผัสของหุ่นยนต์
- โมเดลนี้รองรับสามโหมดการรับรู้ สามารถแชร์และนำข้อมูลสัมผัสมาใช้ใหม่ได้
- โมเดลนี้แสดงให้เห็นถึงอัตราความสำเร็จที่เพิ่มขึ้นอย่างมีนัยสำคัญในการทดสอบการดำเนินงานจริงหลายรายการ
- Robbyant มีโมเดลขนาดสองแบบเพื่อสร้างสมดุลระหว่างความสามารถในการรับรู้และความต้องการในการคำนวณ
Robbyant บริษัทด้านปัญญาประดิษฐ์ที่มีรากฐานจากกลุ่ม Ant Group ได้เปิดตัว LingBot-Touch ซึ่งเป็นโมเดลพื้นฐานที่ออกแบบมาเพื่อเพิ่มความสามารถในการรับรู้สัมผัสของหุ่นยนต์ โมเดลนี้ได้รับการฝึกฝนล่วงหน้าบนข้อมูลสัมผัสจริงเกือบ 5,000 ชั่วโมง รองรับสามโหมดการรับรู้ ได้แก่ สัมผัสแม่เหล็ก สัมผัสจากภาพ และการวัดแรงกด โมเดลนี้จะแปลงสัญญาณจากเซ็นเซอร์ต่างๆ เป็นการแสดงผลสัมผัสที่เป็นเอกภาพ ทำให้หุ่นยนต์และโมเดลการเคลื่อนไหวที่แตกต่างกันสามารถแชร์และนำข้อมูลสัมผัสที่เกี่ยวข้องมาใช้ใหม่ได้ บริษัทกล่าวว่าความสามารถนี้อาจช่วยปรับปรุงงานที่ต้องใช้ความละเอียด เช่น การพลิกหน้า การเปิดฝาขวด และการระบุไพ่麻将
LingBot-Touch เป็นโมเดลพื้นฐานแบบโอเพนซอร์สที่ออกแบบมาเพื่อช่วยให้หุ่นยนต์สามารถตีความการสัมผัสทางกายภาพจากเซ็นเซอร์ประเภทต่างๆ โมเดลนี้มุ่งเน้นไปที่ความท้าทายหลักในกระบวนการทำงานของหุ่นยนต์ นั่นคือ การรักษาและนำความสามารถในการรับรู้สัมผัสมาใช้ใหม่เมื่อมีการเปลี่ยนเซ็นเซอร์ มือที่คล่องแคล่ว และโมเดลการควบคุม เซ็นเซอร์สัมผัสเชิงพาณิชย์ที่มีอยู่ในปัจจุบันใช้เทคโนโลยีที่แตกต่างกัน รวมถึงสัมผัสแม่เหล็ก สัมผัสจากภาพ และการวัดแรงกด แต่ละวิธีมีข้อดีและข้อเสีย รวมถึงต้นทุนและสถานการณ์การใช้งานที่แตกต่างกัน ทำให้ไม่สามารถมีเทคโนโลยีการรับรู้เพียงประเภทเดียวที่ครองตลาดได้ อย่างไรก็ตาม หลักการการรับรู้ที่แตกต่างเหล่านี้อาจสร้างสัญญาณดิบที่ไม่เข้ากันได้แม้จะตรวจจับการสัมผัสทางกายภาพเดียวกัน
โมเดลที่ฝึกฝนโดยใช้เซ็นเซอร์ประเภทเดียวอาจประสบปัญหาในการถ่ายโอนความรู้ไปยังประเภทอื่น ซึ่งทำให้ผู้พัฒนาต้องรวบรวมชุดข้อมูลใหม่ ฝึกฝนโมเดลใหม่ และปรับแต่งระบบทุกครั้งที่มีการเปลี่ยนแปลงฮาร์ดแวร์
การแก้ไขปัญหาความไม่เข้ากันของเซ็นเซอร์
LingBot-Touch พยายามแก้ไขข้อจำกัดนี้โดยการแปลงสัญญาณสัมผัสที่แตกต่างกันให้เป็นการแสดงผลที่ใช้ร่วมกัน สถาปัตยกรรมของมันใช้ช่องทางการเข้ารหัสที่แยกจากกันเพื่อจัดการข้อมูลจากเทคโนโลยีการรับรู้ที่แตกต่างกัน จากนั้นจะทำการแมพจุดสัมผัสที่จัดเรียงด้วยเซ็นเซอร์ที่แตกต่างกันไปยังพื้นที่พิกัดปลายนิ้วที่เป็นเอกภาพ โมเดลที่ใช้ร่วมกันจะเรียนรู้การตีความตำแหน่งการสัมผัส การกระจายแรง และลักษณะเหล่านี้ที่เปลี่ยนแปลงไปตามเวลา สัญญาณสัมผัสที่เป็นเอกภาพที่เกิดขึ้นในที่สุดทำให้หุ่นยนต์มือและโมเดลการเคลื่อนไหวที่แตกต่างกันสามารถเข้าถึงและนำข้อมูลสัมผัสที่เรียนรู้มาใช้ใหม่ได้ สถาปัตยกรรมนี้ยังอนุญาตให้รวมข้อมูลจากผู้ใช้ที่สวมถุงมือสัมผัสและข้อมูลจากหุ่นยนต์มือที่ควบคุมจากระยะไกลในระหว่างกระบวนการฝึกฝน ซึ่งช่วยให้ผู้พัฒนาสามารถถ่ายโอนความรู้สัมผัสข้ามแพลตฟอร์มฮาร์ดแวร์ได้โดยไม่ต้องสร้างระบบการรับรู้ที่แยกต่างหากสำหรับแต่ละการตั้งค่าเซ็นเซอร์
บริษัทกล่าวว่าสถาปัตยกรรมนี้ยังสามารถรองรับเทคโนโลยีการสัมผัสที่เกิดขึ้นใหม่ได้
การทดสอบการดำเนินงานจริงแสดงผลลัพธ์ที่ชัดเจน
Robbyant ได้ประเมินโมเดลนี้ผ่านการทดสอบการดำเนินงานจริงจำนวน 26 รายการที่เกี่ยวข้องกับหุ่นยนต์มือที่คล่องแคล่วสองตัวคือ Sharpa Wave และ XHand โมเดลการเคลื่อนไหวสี่แบบ—LingBot-VLA, π0.5, Diffusion Policy และ TRex—แสดงให้เห็นว่าอัตราความสำเร็จเฉลี่ยเพิ่มขึ้นประมาณ 14 ถึง 26 เปอร์เซ็นต์เมื่อใช้ LingBot-Touch หนึ่งในการทดสอบเกี่ยวข้องกับการใช้โมเดลการเคลื่อนไหว T-Rex ควบคุม Sharpa Wave เพื่อเปิดฝาขวด
เมื่อไม่ใช้ข้อมูลสัมผัส อัตราความสำเร็จของหุ่นยนต์อยู่ที่ 56.25% ขณะที่เมื่อสัญญาณจากเซ็นเซอร์ดิบถูกป้อนเข้าสู่โมเดลการเคลื่อนไหวโดยตรง อัตราความสำเร็จเพิ่มขึ้นเป็น 62.5% และเมื่อ LingBot-Touch ถูกนำมาใช้ในการประมวลผลข้อมูลสัมผัสก่อนที่จะส่งต่อไปยังกลยุทธ์ อัตราความสำเร็จสูงถึง 90% ทีมงานยังได้ทดสอบว่าโมเดลนี้สามารถถ่ายโอนความสามารถไปยังฮาร์ดแวร์ที่แตกต่างกันได้หรือไม่ โดยเซ็นเซอร์สัมผัสแม่เหล็กที่ใช้ใน XHand ไม่อยู่ในชุดข้อมูลการฝึกฝนล่วงหน้าของ LingBot-Touch แต่ได้เรียนรู้ข้อมูลสัมผัสแม่เหล็กผ่านข้อมูลจากถุงมือที่รวบรวมโดยมนุษย์
Robbyant รักษาพารามิเตอร์ของโมเดลพื้นฐานไว้ไม่เปลี่ยนแปลง โดยใช้เพียงข้อมูลการสาธิตจาก XHand เพื่อฝึกฝนโมเดลการเคลื่อนไหว เพื่อประเมินการนำกลับมาใช้ใหม่ข้ามฮาร์ดแวร์
บริษัทมีโมเดลขนาดสองแบบเพื่อสร้างสมดุลระหว่างความสามารถในการรับรู้และความต้องการในการคำนวณ การทดสอบจริงทั้ง 26 รายการใช้โมเดล LingBot-Touch-Tiny ซึ่งมีพารามิเตอร์ประมาณ 5.3 ล้านตัว เมื่อรวมกับ LingBot-VLA, π0.5 และ T-Rex ขนาดรวมของโมเดลจะเพิ่มขึ้นเพียงประมาณ 0.13 ถึง 0.16% Robbyant กล่าวว่าด้วยชุดข้อมูลการฝึกฝนล่วงหน้าที่ใกล้เคียงกับ 5,000 ชั่วโมง โมเดลที่ใหญ่กว่ายังแสดงให้เห็นถึงศักยภาพในการปรับปรุงเพิ่มเติม
รายงานทางเทคนิคและซอร์สโค้ดสามารถเข้าถึงได้ผ่าน Hugging Face และ GitHub
รายการ สเปค ชื่อโมเดล LingBot-Touch-Tiny จำนวนพารามิเตอร์ ประมาณ 5.3 ล้าน การเพิ่มขึ้นของอัตราความสำเร็จ 14 ถึง 26 เปอร์เซ็นต์
ผลกระทบของ LingBot-Touch ต่อเทคโนโลยีหุ่นยนต์
การออกแบบแบบโอเพนซอร์สของ LingBot-Touch ไม่เพียงแต่เพิ่มความสามารถในการรับรู้สัมผัสของหุ่นยนต์ แต่ยังแก้ไขปัญหาความไม่เข้ากันของข้อมูลระหว่างเซ็นเซอร์ที่แตกต่างกัน การนำโมเดลนี้ไปใช้ประสบความสำเร็จแสดงให้เห็นถึงศักยภาพในการถ่ายโอนความรู้สัมผัสข้ามแพลตฟอร์มฮาร์ดแวร์ ซึ่งมีความสำคัญต่อการพัฒนาเทคโนโลยีหุ่นยนต์ในอนาคต ด้วยการขยายขอบเขตการใช้งานของหุ่นยนต์ LingBot-Touch อาจกลายเป็นเทคโนโลยีสำคัญในการเพิ่มความคล่องตัวและความแม่นยำของหุ่นยนต์ ซึ่งจะช่วยผลักดันความก้าวหน้าของตลาดหุ่นยนต์อัจฉริยะต่อไป