[论文解读] Simultaneous Optical Flow and Segmentation (SOFAS) using Dynamic Vision Sensor

Timo Stoffregen, Lindsay Kleeman|arXiv (Cornell University)|May 31, 2018

Advanced Vision and Imaging被引用 31

一句话总结

该论文提出SOFAS，一种新颖算法，通过在三维空间（x, y, t）中建模事件轨迹，同时估计动态视觉传感器（DVS）的光流并分割事件。该方法通过分析整体结构而非局部区域，避免了孔径问题，在处理可变速度和物体分割时精度更高，且计算开销极低。

ABSTRACT

We present an algorithm (SOFAS) to estimate the optical flow of events generated by a dynamic vision sensor (DVS). Where traditional cameras produce frames at a fixed rate, DVSs produce asynchronous events in response to intensity changes with a high temporal resolution. Our algorithm uses the fact that events are generated by edges in the scene to not only estimate the optical flow but also to simultaneously segment the image into objects which are travelling at the same velocity. This way it is able to avoid the aperture problem which affects other implementations such as Lucas-Kanade. Finally, we show that SOFAS produces more accurate results than traditional optic flow algorithms.

研究动机与目标

• 解决传统光流算法在应用于动态视觉传感器（DVS）事件数据时的局限性，特别是孔径问题。
• 利用 DVS 事件流的高时间分辨率和稀疏性，开发更鲁棒、更高效的光流估计方法。
• 基于速度对场景中的运动结构进行分割，实现运动物体的自然分组。
• 证明该算法能够适应非恒定速度和形变变化，在事件数据上优于传统光流技术。
• 通过利用事件感知的内在特性（如异步、无帧的数据生成），实现实时、低延迟视觉处理。

提出的方法

• 将 DVS 事件表示为时空空间（u, v, t）中的三维点，包含极性信息，每个事件对应像素处的亮度变化。
• 将运动结构建模为图像平面上的二维截面 C，事件沿其轨迹形成拉伸的三维点云。
• 通过编码速度向量（v_u, v_v）的参数化变换，将三维事件点云投影到二维“轨迹平面”上，实现光流与分割的联合估计。
• 采用最小二乘拟合方法，估计使轨迹平面投影残差最小的最优速度参数。
• 基于拟合的速度参数对事件进行聚类，实现运动物体的自然分组。
• 利用受 Mueggler 等人启发的方法，基于当前速度估计结果估算事件的生命周期，以提升时间一致性。

实验结果

研究问题

• RQ1 通过建模完整事件轨迹而非局部强度梯度，能否提升 DVS 数据上的光流估计性能？
• RQ2 能否在轨迹平面表示中通过基于速度的聚类自然实现运动物体的同步分割？
• RQ3 所提方法是否能避免 Lucas-Kanade 等局部光流估计技术固有的孔径问题？
• RQ4 与传统光流算法相比，SOFAS 在具有非均匀或加速运动的动态场景中表现如何？
• RQ5 该算法在处理真实世界挑战（如遮挡、光照变化和复杂运动模式）方面的能力如何？

主要发现

• 在合成和真实 DVS 数据上评估时，SOFAS 的光流估计精度高于传统算法，尤其在复杂运动场景中表现更优。
• 该算法成功基于速度对运动物体进行分割，清晰分离了如机械臂、蟑螂和不同距离的竖直条带等结构。
• 即使在恒定加速度（如摆动运动）下，SOFAS 仍能生成合理且自适应的光流估计，尽管噪声有所增加。
• 由于缺乏旋转建模，该算法在纯旋转运动中表现较差，但仍在短时间内合理地沿条带长度方向分割并估计光流。
• 该方法对遮挡具有鲁棒性：当被遮挡的物体重新出现时，SOFAS 能基于其速度将其重新分割为独立结构。
• 标准 CPU 上处理时间较长（如 257k 个事件需 46.5 秒），但其模块化与可并行化结构表明，经优化后具备实现实时处理的潜力。