- Neuron AI 结合多种感官输入以增强机器人互动能力。
- 该模型支持多个机器人平台，适应不同应用需求。
- NEURA 计划展示 Neuron AI 的自动化过程，强调上下文保持。
- 训练过程结合真实世界经验和模拟变化。
NEURA Robotics 推出了 Neuron AI，这是一款旨在帮助机器人理解和与周围环境互动的机器人基础模型，利用多种感官输入进行操作。该系统结合了视觉感知、触觉、声音、语言、机器人状态信息和记忆，以支持各种任务的执行。这家德国公司计划在不同的机器人平台上部署该模型，让客户能够根据特定应用需求调整其功能。NEURA 还计划通过其人形机器人展示这项技术，展示其开发适应性机器人系统以应对现实环境的理念。
Neuron AI 的功能与设计
Neuron AI 是一款设计用于结合视觉感知、触觉、声音、语言和记忆的机器人基础模型，旨在帮助机器人执行复杂任务。这家德国机器人公司将该系统描述为一个感知-语言-行动（PLA）模型，能够处理感官信息并将其转化为物理行动。该架构旨在支持多个机器人平台，使技能能够适应不同的应用，而不必为每台机器单独开发。Neuron AI 整合了多种信息来源，包括 3D 视觉、触觉和力量测量、音频、机器人状态数据和语言。
根据 NEURA 的说法，该模型随时间对这些输入进行对齐，帮助机器人解释其周围环境并在任务进行过程中保持上下文。
触觉和力量数据的加入可能帮助机器人确定物理互动是否达到预期效果。例如，接触力的变化可以表明螺丝是否正确安装，而音频提示则可以帮助识别机械锁是否已经卡入到位。这些例子展示了预期的能力，而非独立验证的性能结果。记忆是该架构的另一个组件。NEURA 指出，该系统可以保留有关早期事件和已移出视野物体的信息，这可能帮助机器人在任务的多个阶段协调行动。这一方法将感知、上下文信息和行动结合在一个共同的模型中。
然而，该公司尚未发布比较基准，以证明记忆或额外感官输入在性能上对视觉系统的改进程度。
训练基础设施与合作伙伴
NEURA 表示，Neuron AI 支持五种机器人实现，包括 4NE1 Gen 3 和 Gen 4 人形机器人、一个轮式 4NE1 平台，以及两个额外的双臂机器人平台。这一方法旨在将学习到的能力转移到不同的硬件配置上，同时允许客户根据其具体需求调整技能。该公司的产品信息指出，推理在机器人上本地运行，而无需云端连接。在设备上进行处理可以使机器人执行学到的技能，而无需持续访问远程计算基础设施。
Neuron AI 的训练过程结合了真实世界的机器人经验、模拟变化和使用配备传感器的套装录制的人类演示。
NEURA 的训练基础设施称为 NEURA Gyms，支持数据收集、技能培训和基准测试。该公司还与 Schaeffler 和 Bosch 建立了工业数据合作伙伴关系。NEURA 计划利用其 Neuraverse 平台帮助客户为特定工作流程微调机器人能力，并在多个机器人之间分配这些能力。客户可以保持其训练技能的私密性，或选择与更广泛的生态系统共享能力和部署数据。
该公司将“技能时间”视为一项关键进展指标，即教导机器人执行任务并达到可靠执行所需的时间。然而，该公告并未包含此指标的测量结果。
NEURA 计划在 10 月 20 至 22 日于 NVIDIA GTC 柏林展示 Neuron AI，预计展示的 11 分钟自动化过程包括整理衣物、装载洗衣机、关闭及重新打开洗衣机、卸下衣物，以及在无人干预的情况下将衣物转移到烘干机。此次展示旨在展示系统如何协调多个行动，并在任务执行过程中保持上下文。公告的过程涉及衣物处理，而非完整的洗衣和烘干循环。
项目 规格 支持的机器人实现 4NE1 Gen 3、4NE1 Gen 4、人形机器人、轮式 4NE1 平台、双臂机器人平台 推理处理 本地运行 训练基础设施 NEURA Gyms
Neuron AI 如何改变机器人技术的未来
NEURA Robotics 的 Neuron AI 模型代表了机器人技术的一个重要进展，通过整合多种感官输入，使机器人能够更好地理解和适应其环境。这种多感官互动不仅提升了机器人的执行能力，还使其能够在更复杂的任务中保持上下文，这对于未来的自动化应用至关重要。此外，NEURA 的训练基础设施和与工业合作伙伴的合作，将进一步促进技术的发展和应用，为机器人行业带来新的机会和挑战。