[论文解读] Unsupervised Optical Flow Estimation with Dynamic Timing Representation for Spike Camera

Lujie Xia, Ziluo Ding+6 more|arXiv (Cornell University)|Jul 12, 2023

CCD and CMOS Imaging Sensors被引用 4

一句话总结

该论文提出USFlow，一种基于多层空洞卷积与层注意力机制的动态时间表示方法，用于脉冲相机数据的无监督光流估计，以捕捉多时间尺度特征。在Δt=10和Δt=20时，相较于SCFlow在PHM数据集上分别实现15%和19%的误差降低，并通过所提出的SSES数据集在真实与合成的极端驾驶场景中展现出强大的泛化能力。

ABSTRACT

Efficiently selecting an appropriate spike stream data length to extract precise information is the key to the spike vision tasks. To address this issue, we propose a dynamic timing representation for spike streams. Based on multi-layers architecture, it applies dilated convolutions on temporal dimension to extract features on multi-temporal scales with few parameters. And we design layer attention to dynamically fuse these features. Moreover, we propose an unsupervised learning method for optical flow estimation in a spike-based manner to break the dependence on labeled data. In addition, to verify the robustness, we also build a spike-based synthetic validation dataset for extreme scenarios in autonomous driving, denoted as SSES dataset. It consists of various corner cases. Experiments show that our method can predict optical flow from spike streams in different high-speed scenes, including real scenes. For instance, our method gets $15\%$ and $19\%$ error reduction from the best spike-based work, SCFlow, in $Δt=10$ and $Δt=20$ respectively which are the same settings as the previous works.

研究动机与目标

• 为解决使用缺乏真实标签的脉冲相机数据在高速场景中进行无监督光流估计的挑战。
• 设计一种动态时间表示方法，以最少的参数高效提取脉冲流中的显著时间特征。
• 开发一种基于脉冲的无监督损失函数，通过脉冲间隔估计光照强度，以保持照度一致性。
• 构建一个用于极端自动驾驶场景的合成数据集（SSES），以评估在高速、罕见且危险事件下的鲁棒性。
• 在真实世界数据、基准数据集（PHM）以及所提出的SSES数据集上展示最先进性能。

提出的方法

• 提出时间多空洞表示（TMR），通过沿时间维度的多层空洞卷积提取不同感受野的特征，实现多时间尺度特征学习。
• 引入层注意力（LA）模块，动态融合来自不同空洞层的特征，过滤冗余信息并突出显著的时间模式。
• 设计一种新颖的无监督损失函数，通过两种策略（多间隔法与多时间窗法）从脉冲间隔估计光照强度，适应不同运动速度的区域。
• 利用估计的光照强度计算照度一致性损失，实现无需真实光流标签的端到端训练。
• 使用CARLA模拟器生成SSES合成数据集，模拟每秒40,000帧脉冲帧与500帧RGB帧的高速极端驾驶场景。
• 在SPIFT上进行训练，在PHM与SSES上进行评估，采用PWC-Flow作为光流估计的主干网络。

实验结果

研究问题

• RQ1 基于空洞卷积的动态时间表示能否有效从脉冲流中提取多尺度时间特征以用于光流估计？
• RQ2 无监督学习如何适配基于脉冲的数据，以在无真实标签监督下估计光流？
• RQ3 一种基于脉冲的无监督损失函数，若能从脉冲间隔估计光照强度，是否能提升光流估计性能？
• RQ4 所提出方法在真实世界高速场景与极端自动驾驶场景中是否具备良好泛化能力？
• RQ5 用于极端驾驶场景的合成数据集（SSES）能否有效验证基于脉冲的光流模型的鲁棒性？

主要发现

• 在PHM数据集上，USFlow在Δt=10时达到1.307的平均AEE，在Δt=20时达到2.413，相较于先前最先进方法SCFlow分别实现15%和19%的误差降低。
• 消融实验表明，结合动态光照强度估计的无监督损失显著优于消融变体，尤其在处理运动速度变化区域时表现更优。
• 层注意力模块虽性能增益微小，但提升了训练稳定性和收敛速度，并有助于更优的特征选择。
• USFlow在真实世界数据上展现出强大泛化能力，即使在复杂高速场景中也能生成视觉上准确的光流预测。
• 在所提出的SSES数据集上，USFlow表现具有竞争力，Δt=10时平均AEE为3.122，Δt=20时为3.130，表明其在极端驾驶场景中的鲁棒性。
• SSES数据集成功捕捉了多样化、高速且罕见的事故易发场景，可有效评估模型在极端条件下的鲁棒性。