Robbyant lanza el modelo de código abierto LingBot-Touch para mejorar la percepción táctil y la flexibilidad de los robots

·por Henderson·Engineering
Robbyant lanza el modelo de código abierto LingBot-Touch para mejorar la percepción táctil y la flexibilidad de los robots
Puntos clave
  • LingBot-Touch es un modelo de código abierto que mejora la capacidad de percepción táctil de los robots.
  • El modelo soporta tres modalidades de percepción, permitiendo compartir y reutilizar información táctil.
  • El modelo ha mostrado un aumento significativo en la tasa de éxito en múltiples pruebas de operaciones reales.
  • Robbyant ofrece dos tamaños de modelo para equilibrar la capacidad de percepción y los requisitos computacionales.

Robbyant, como empresa de inteligencia artificial encarnada bajo Ant Group, ha lanzado el modelo de código abierto LingBot-Touch, diseñado para mejorar la capacidad de percepción táctil de los robots. Este modelo ha sido preentrenado con cerca de 5,000 horas de datos táctiles reales y soporta tres modalidades de percepción: táctil magnético, táctil visual y sensores piezoeléctricos. Convierte las señales de diferentes sensores en una representación táctil unificada, permitiendo que diferentes manos robóticas y modelos de acción compartan y reutilicen información relacionada con el tacto. La empresa afirma que esta capacidad podría mejorar tareas de manipulación fina, como pasar páginas, abrir tapones y reconocer fichas de Mahjong.

LingBot-Touch es un modelo de código abierto que busca ayudar a los robots a interpretar el contacto físico de diferentes tipos de sensores. Este modelo aborda un desafío principal en la operación robótica, que es permitir que los robots mantengan y reutilicen su capacidad de percepción táctil al cambiar entre sensores, manos hábiles y modelos de control. Los sensores táctiles comerciales existentes utilizan diferentes tecnologías, incluyendo táctil magnético, táctil visual y sensores piezoeléctricos. Cada método tiene sus propias ventajas y desventajas, costos y escenarios de aplicación, por lo que es poco probable que una única tecnología de percepción domine el mercado. Sin embargo, estos diferentes principios de percepción pueden generar señales originales incompatibles, incluso al detectar el mismo contacto físico.

Los modelos entrenados para un único tipo de sensor pueden enfrentar dificultades al transferir conocimientos a otro tipo, lo que obliga a los desarrolladores a recopilar nuevos conjuntos de datos, reentrenar modelos y ajustar sistemas cada vez que hay un cambio de hardware.

Superando problemas de incompatibilidad de sensores

LingBot-Touch intenta superar esta limitación al convertir señales táctiles heterogéneas en representaciones compartidas. Su arquitectura utiliza canales de codificación independientes para procesar datos de diferentes tecnologías de percepción, y luego mapea los puntos de contacto de diferentes configuraciones de sensores a un espacio de coordenadas común en la punta de los dedos. El modelo compartido luego aprende a interpretar la ubicación del contacto, la distribución de fuerzas y cómo estas propiedades cambian con el tiempo. La etiqueta táctil unificada resultante permite que diferentes manos robóticas y modelos de acción accedan y reutilicen la misma información táctil aprendida. Esta arquitectura también permite combinar datos de humanos que usan guantes táctiles y datos de manos robóticas operadas a distancia durante el proceso de entrenamiento, lo que ayuda a los desarrolladores a transferir conocimientos táctiles a través de plataformas de hardware sin tener que establecer sistemas de percepción independientes para cada configuración de sensor.

La empresa afirma que esta arquitectura también puede acomodar nuevas tecnologías de sensores táctiles emergentes.

Pruebas de operaciones reales muestran resultados positivos

Robbyant evaluó el modelo a través de 26 pruebas de operaciones reales que involucraron dos manos robóticas hábiles, Sharpa Wave y XHand. Cuatro modelos de acción—LingBot-VLA, π0.5, Diffusion Policy y TRex—mostraron un aumento promedio en la tasa de éxito de entre 14 y 26 puntos porcentuales al utilizar LingBot-Touch. Una de las pruebas involucró el uso del modelo de acción T-Rex para controlar Sharpa Wave al abrir un tapón.

Sin el uso de entradas táctiles, la tasa de éxito del robot fue del 56.25%; cuando la señal original del sensor se introdujo directamente en el modelo de acción, la tasa de éxito aumentó al 62.5%. Cuando LingBot-Touch procesó la información táctil antes de transmitirla a la estrategia, la tasa de éxito alcanzó el 90%. El equipo también probó si el modelo podría transferir su capacidad a diferentes hardware. El sensor táctil magnético utilizado por XHand no estaba en los datos de preentrenamiento de LingBot-Touch, sino que aprendió información táctil magnética a través de datos de guantes recopilados por humanos.

Robbyant mantuvo los parámetros del modelo base sin cambios, utilizando solo datos de demostración de XHand para entrenar el modelo de acción, con el fin de evaluar la reutilización a través de hardware.

La empresa ofrece dos tamaños de modelo para equilibrar la capacidad de percepción y los requisitos computacionales. Todas las 26 pruebas reales utilizaron LingBot-Touch-Tiny, que contiene aproximadamente 5.3 millones de parámetros. Al integrarse con LingBot-VLA, π0.5 y T-Rex, solo se incrementó su tamaño total de modelo en aproximadamente un 0.13 a 0.16%. Robbyant indica que, con su conjunto de datos de preentrenamiento cercano a 5,000 horas, el modelo más grande también muestra potencial para mejoras adicionales.

El informe técnico y el código fuente están disponibles a través de Hugging Face y GitHub.

ElementoEspecificaciones
Nombre del modeloLingBot-Touch-Tiny
Cantidad de parámetrosAproximadamente 5.3 millones
Aumento de tasa de éxito14 a 26 puntos porcentuales

Impacto de LingBot-Touch en la tecnología robótica

El diseño de código abierto de LingBot-Touch no solo mejora la capacidad de percepción táctil de los robots, sino que también aborda el problema de incompatibilidad de datos entre diferentes sensores. La exitosa implementación de este modelo demuestra el potencial de transferencia de conocimientos táctiles a través de plataformas de hardware, lo que tiene importantes implicaciones para el desarrollo futuro de la tecnología robótica. A medida que se amplía el rango de aplicaciones robóticas, LingBot-Touch podría convertirse en una tecnología clave para mejorar la flexibilidad y precisión de los robots, impulsando aún más el avance del mercado de robots inteligentes.

H
Sobre el autor
Henderson