[论文解读] Spatio-Temporal Recurrent Networks for Event-Based Optical Flow Estimation

Ziluo Ding, Rui Zhao+5 more|arXiv (Cornell University)|Sep 10, 2021

Advanced Memory and Neural Computing被引用 9

一句话总结

本文提出STE-FlowNet，一种时空循环编码-解码网络，利用卷积门控循环单元（ConvGRU）从事件流中提取动态时空特征，同时引入一种基于时间分布的新输入表示方法以增强信号。该方法在MVSEC数据集上优于所有现有最先进方法，尤其在高速场景下表现优异，通过在循环架构中有效整合相关层与迭代残差精炼，实现了卓越性能。

ABSTRACT

Event camera has offered promising alternative for visual perception, especially in high speed and high dynamic range scenes. Recently, many deep learning methods have shown great success in providing promising solutions to many event-based problems, such as optical flow estimation. However, existing deep learning methods did not address the importance of temporal information well from the perspective of architecture design and cannot effectively extract spatio-temporal features. Another line of research that utilizes Spiking Neural Network suffers from training issues for deeper architecture.To address these points, a novel input representation is proposed that captures the events' temporal distribution for signal enhancement. Moreover, we introduce a spatio-temporal recurrent encoding-decoding neural network architecture for event-based optical flow estimation, which utilizes Convolutional Gated Recurrent Units to extract feature maps from a series of event images. Besides, our architecture allows some traditional frame-based core modules, such as correlation layer and iterative residual refine scheme, to be incorporated. The network is end-to-end trained with self-supervised learning on the Multi-Vehicle Stereo Event Camera dataset. We have shown that it outperforms all the existing state-of-the-art methods by a large margin. The code link is https://github.com/ruizhao26/STE-FlowNet.

研究动机与目标

• 为解决现有深度学习方法因架构设计不佳，难以从事件数据中捕捉时间动态的问题。
• 通过建模事件的时间分布，在高速与噪声场景下提升事件信号质量。
• 实现在事件驱动光流估计中集成基于帧的组件（如相关层与迭代残差精炼）。
• 开发一种端到端可训练的自监督框架，利用循环处理提升光流估计性能。
• 在多样化室内与室外事件驱动场景中展示卓越的泛化能力。

提出的方法

• 提出一种新颖的输入表示方法，基于事件的时间分布进行累积，以提升高速运动时段的信号质量。
• 设计一种基于ConvGRU单元的时空循环编码-解码网络（STE-FlowNet），按时间顺序处理事件图像。
• 按时间顺序逐帧处理事件图像，使中间光流预测可指导后续估计。
• 通过处理顺序事件图像而非拼接输入，使此前在事件驱动网络中不可用的相关层得以应用。
• 采用迭代残差精炼（IRR）方案，利用中间光流估计逐步优化光流预测。
• 在多个时间步上引入多个中间监督信号，以提升训练稳定性和性能。

实验结果

研究问题

• RQ1 循环架构能否有效建模事件驱动光流估计中的时空依赖性？
• RQ2 基于时间分布的输入表示是否能提升高速场景下的信号质量与光流估计精度？
• RQ3 传统基于帧的组件（如相关层）能否成功适配于事件驱动光流网络？
• RQ4 迭代残差精炼在事件驱动设置中能在多大程度上提升光流估计性能？
• RQ5 在时间步上集成中间监督对模型性能有何影响？

主要发现

• STE-FlowNet在MVSEC数据集上优于所有现有最先进方法，尤其在dt=4情况下表现突出，展现出在多样化场景中的卓越泛化能力。
• 所提出的基于时间分布的输入表示显著提升了信号质量与光流估计精度，优于简单的事件计数或时间面表示。
• 消融实验表明，ConvGRU、相关层与迭代残差精炼方案均对性能有显著贡献，完整模型达到最佳效果。
• 在事件驱动网络中集成相关层具有实际效果与优势，性能优于直接拼接光流。
• 在时间步上采用多个中间损失（MIL）进一步提升了模型性能，证实了循环监督的价值。
• 定性结果表明，STE-FlowNet在边缘区域预测更准确，且与真实值对齐更好，尤其在稀疏与动态场景中优于Spike-FlowNet。