[论文解读] Towards Anytime Optical Flow Estimation with Event Cameras

Yaozu Ye, Hao Shi+6 more|arXiv (Cornell University)|Jul 11, 2023

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出EVA-Flow，一种基于事件相机的任意时间光学流估计深度学习框架。通过引入统一体素网格表示和时空运动精炼（SMR）模块，EVA-Flow 实现了高达200Hz的时序密集、低延迟（5ms）光学流估计，即使在低帧率（10Hz）真实数据上进行训练，也能实现SOTA精度和在MVSEC、DSEC以及作者自建的EVA-FlowSet数据集上的强泛化能力。

ABSTRACT

Event cameras respond to changes in log-brightness at the millisecond level, making them ideal for optical flow estimation. However, existing datasets from event cameras provide only low frame rate ground truth for optical flow, limiting the research potential of event-driven optical flow. To address this challenge, we introduce a low-latency event representation, Unified Voxel Grid, and propose EVA-Flow, an EVent-based Anytime Flow estimation network to produce high-frame-rate event optical flow with only low-frame-rate optical flow ground truth for supervision. Furthermore, we propose the Rectified Flow Warp Loss (RFWL) for the unsupervised assessment of intermediate optical flow. A comprehensive variety of experiments on MVSEC, DESC, and our EVA-FlowSet demonstrates that EVA-Flow achieves competitive performance, super-low-latency (5ms), time-dense motion estimation (200Hz), and strong generalization. Our code will be available at https://github.com/Yaozhuwa/EVA-Flow.

研究动机与目标

• 解决现有基于事件的光学流方法受限于低帧率真实数据（如10Hz或20Hz）的问题，从而限制了高时间分辨率运动估计的能力。
• 实现在监督信号来自低频数据集的情况下，仍能实现任意时间间隔的光学流估计——即在任意时间点生成密集运动场。
• 设计一种网络架构，充分利用事件相机的高时间分辨率和低延迟特性，实现真正的实时、时序密集运动估计。
• 提出一种无监督评估指标——校正光学流形失真损失（RFWL），用于在无真实标签的情况下验证中间光学流预测结果。

提出的方法

• 提出统一体素网格表示，确保所有时间区间内事件编码的一致性，相比标准体素网格提升了特征质量。
• 引入堆叠式时空运动精炼（SMR）模块，通过在时间区间内迭代优化运动估计，实现时序密集的光学流预测。
• 在SMR模块中采用时序密集的特征形变，为中间流预测提供隐式监督，通过时空一致性提升精度。
• 采用逐区间推理策略，网络以固定时长的区间处理事件流，通过调整区间数量灵活控制输出帧率。
• 利用校正光学流形失真损失（RFWL）作为无监督指标，在训练过程中评估中间流预测结果，尤其在缺乏真实标签时极具价值。
• 在低帧率数据集（如DSEC的10Hz）上进行模型训练，但通过增加预测区间数量，实现高达200Hz的推理速度。

实验结果

研究问题

• RQ1 基于事件的光学流网络是否能实现超越训练数据真实帧率的时序密集运动估计？
• RQ2 来自时序密集特征形变的隐式监督如何提升基于事件网络的光学流精度？
• RQ3 与标准体素网格相比，统一体素网格表示对光学流估计性能有何影响？
• RQ4 在无真实标签的情况下，无监督评估指标如RFWL是否能有效验证中间光学流预测？
• RQ5 增加预测区间数量对任意时间光学流估计的推理延迟、精度和泛化能力有何影响？

主要发现

• 在DSEC数据集上，EVA-Flow在200Hz下使用21个区间时，端点误差（EPE）达到0.877，证明了在超高速率下的高精度。
• 模型延迟仅为5ms，单张GPU上推理速度为9.2ms，支持实时任意时间光学流估计。
• 相比标准体素网格，统一体素网格将EPE降低7.3%，归因于所有区间内事件表示的一致性。
• 当区间数从6增加到21时，EPE从0.955降至0.877，表明更高时间分辨率可提升精度；但在31个区间时略有下降，归因于事件稀疏性。
• 校正光学流形失真损失（RFWL）可有效实现无监督中间流预测评估，验证了模型内部一致性与运动精炼能力。
• 模型在不同数据集上泛化能力强，在MVSEC、DSEC及新提出的EVA-FlowSet上均表现优异，对不同事件率和场景动态具有强鲁棒性。