- F³ 系统可每秒处理高达 440 次机器视觉数据。
- 该技术能帮助机器人更高效识别物体及追踪运动。
- 研究人员开发神经网络以识别事件相机数据中的模式。
- F³ 使事件相机在自动系统中更为实用,简化使用过程。
美国研究人员开发了一种人工智能工具,能够以每秒高达 440 次的速度处理机器视觉数据,这可能使无人机、自动驾驶汽车及其他机器人能更快速地对周围环境做出反应。这一系统由宾夕法尼亚大学的工程师研发,名为 Fast Feature Field (F³),其处理来自事件相机的信息,这些相机是通过检测光线变化来工作,而非捕捉传统影像。在测试中,利用 F³ 的算法的运行速度约为以往方法的两到五倍。
该系统以每秒 120 次的速度处理高清事件相机数据,而在较低的 VGA 分辨率下达到每秒 440 次。研究人员表示,这项技术可以帮助机器人更高效地识别物体、估算距离以及追踪运动,尤其是在光线条件较差的情况下。
F³ 系统的运作原理
与传统相机在固定时间间隔内捕捉完整影像不同,事件相机持续检测单个像素的光强度变化。这使其能够捕捉快速运动而无需录制完整的帧。然而,解释其输出仍然困难,因为这些相机生成的信号数以百万计,而非可识别的影像。现有的方法通常需要针对不同任务的专门算法,限制其在机器人技术中的广泛应用。宾夕法尼亚大学的研究人员通过开发一个神经网络来解决这一问题,该网络学会识别事件相机数据中的有用模式。
研究团队并非分别为物体识别、运动追踪或距离估算编程,而是训练 F³ 根据先前的信号预测未来事件。
论文的第一作者 Richeek Das 表示:“为了准确预测基于过去事件的未来事件,网络必须学会表示场景的结构和其中发生的运动。”这种方法使系统能够提取有关场景及其运动的信息,而无需为每个应用要求不同的处理方法。研究人员还找到了一种减少不必要计算的方法。尽管事件相机每秒可以生成数千万个信号,但约 95% 的数据位置并不包含事件。通过仅处理发生变化的位置,F³ 避免了在空白区域上浪费计算资源。
这种优化帮助研究人员实现了实时机器人感知所需的处理速度。
未来应用与整合
团队使用从汽车、四足机器人和飞行无人机收集的事件相机数据来评估 F³。测试包括物体识别、距离估算和运动追踪,环境范围从夜间城市街道到拥挤的室内空间。根据研究人员的说法,基于 F³ 的方法在多项感知任务中达到了最先进的性能,且运行速度远高于早期的方法。该系统还允许现有的计算机视觉软件适应事件相机数据,从而可能减少为各个应用开发专门算法的需求。研究人员目前正在将 F³ 集成到设计用于导航杂乱和光线不足环境的自动驾驶无人机中。
他们最终希望将这项技术直接整合到事件相机硬件中,允许原始信号被转换为可用的视觉信息,而无需额外的处理软件。
宾夕法尼亚大学的副教授 Pratik Chaudhari 表示:“我们的目标是让使用事件相机变得像使用传统相机一样简单。”研究人员相信,这种方法可以使事件相机在自动系统中更为实用,这些系统必须解释快速变化的环境。研究结果已发表在《科学机器人学》期刊上。
项目 规格 处理速度 每秒 440 次 分辨率 VGA
F³ 系统对机器视觉技术的影响
F³ 系统的开发标志着机器视觉技术的一个重要进步,特别是在自动驾驶和机器人领域。通过高效的数据处理能力,该系统能够在光线不足的环境中提供可靠的感知能力,这对于自动驾驶无人机和其他机器人来说至关重要。研究人员的创新方法不仅提升了数据处理的速度,还减少了对专门算法的需求,这将有助于加速相关技术的普及和应用。随着未来将 F³ 整合到事件相机硬件中,这项技术可能会进一步简化使用过程,提升机器视觉的实用性。

