苏黎世大学Nature发布！用事件相机实现低延迟汽车视觉感知

目前，高级驾驶辅助系统中使用的计算机视觉算法依赖于基于图像的RGB相机，这引起了一个关键的问题：带宽-延迟权衡，以提供安全的驾驶经验。为了解决这个问题，事件相机作为替代视觉传感器应运而生。事件相机异步测量强度的变化，提供高时间分辨率和稀疏性，显著降低带宽和延迟需求。 尽管有这些优点，但基于事件相机的算法要么效率很高，但在精度方面落后于基于图像的算法，要么牺牲事件的稀疏性和效率以获得可比较的结果。为了克服这个问题，这里我们提出了一种基于事件和帧的混合目标检测器，它保留了每种模态的优点，因此不会受到这种权衡的影响。 我们的方法利用事件的高时间分辨率和稀疏性以及标准图像中丰富但低时间分辨率的信息来生成高效、高速率的目标检测，减少了感知和计算延迟。我们证明了使用20帧每秒( fps )的RGB相机加一个事件相机可以在不影响精度的情况下，以45帧每秒相机的带宽达到与5000帧每秒相机相同的延迟。