[论文解读] v2e: From Video Frames to Realistic DVS Events

Yuhuang Hu, Shih‐Chii Liu+1 more|Zurich Open Repository and Archive (University of Zurich)|Jun 13, 2020

Advanced Memory and Neural Computing参考文献 30被引用 5

一句话总结

本文提出 v2e，一种新颖的工具箱，通过建模关键物理非理想特性（如强度相关带宽、高斯阈值失配、时间噪声和漏事件），从视频帧生成逼真的动态视觉传感器（DVS）事件。该方法显著提升了模型泛化能力，在使用合成事件训练时，夜间驾驶车辆检测的准确率相比基于强度的 YOLOv3 提升了 40%。

ABSTRACT

To help meet the increasing need for dynamic vision sensor (DVS) event camera data, this paper proposes the v2e toolbox that generates realistic synthetic DVS events from intensity frames. It also clarifies incorrect claims about DVS motion blur and latency characteristics in recent literature. Unlike other toolboxes, v2e includes pixel-level Gaussian event threshold mismatch, finite intensity-dependent bandwidth, and intensity-dependent noise. Realistic DVS events are useful in training networks for uncontrolled lighting conditions. The use of v2e synthetic events is demonstrated in two experiments. The first experiment is object recognition with N-Caltech 101 dataset. Results show that pretraining on various v2e lighting conditions improves generalization when transferred on real DVS data for a ResNet model. The second experiment shows that for night driving, a car detector trained with v2e events shows an average accuracy improvement of 40% compared to the YOLOv3 trained on intensity frames.

研究动机与目标

• 解决在非受控光照条件下缺乏逼真 DVS 事件数据集的问题。
• 纠正文献中关于 DVS 相机无运动模糊和微秒级延迟的普遍误解。
• 开发一种能捕捉真实世界 DVS 传感器局限性的仿真工具，尤其在低光照条件下。
• 证明合成事件在提升下游视觉任务（如目标识别和检测）泛化能力方面的实用性。
• 提供一个新的标注数据集 MVSEC-NIGHTL21，用于评估 DVS 模型在夜间驾驶场景中的表现。

提出的方法

• 采用基于物理的方法建模 DVS 像素行为，包括对数光感受器响应和变化放大器动力学。
• 引入像素级别的高斯阈值失配，以模拟像素间的可变性。
• 引入有限的、与强度相关的带宽，以模拟低照度下响应变慢的现象。
• 增加时间噪声和漏事件，以反映在光子稀缺条件下真实传感器的行为。
• 使用 v2e 工具箱通过应用上述物理模型，从强度帧合成 DVS 事件。
• 应用网络嫁接算法（NGA）利用合成和真实事件数据，将基于强度模型的知识迁移至基于事件的模型。

实验结果

研究问题

• RQ1 如何从强度帧生成合成 DVS 事件，以准确反映真实传感器的非理想特性？
• RQ2 在真实光照条件下，关于 DVS 相机具有零运动模糊和微秒级延迟的常见说法在多大程度上成立？
• RQ3 在真实 DVS 数据上微调时，使用 v2e 生成的合成 DVS 事件进行预训练是否能提升泛化能力？
• RQ4 与基于强度的模型相比，使用 v2e 生成的低光照事件进行训练是否能在真实夜间事件数据上取得更好性能？
• RQ5 对 DVS 传感器进行物理建模如何影响合成事件流的质量和真实性？

主要发现

• 在多种光照条件下使用 v2e 生成的合成事件对 ResNet 模型进行预训练，可显著提升泛化能力，微调后在真实 DVS 数据上的准确率可与监督基线模型相当。
• 在 v2e 生成的白天事件上训练的模型（GN-D1）在真实夜间事件数据上实现了 36.41% 的平均精度（AP50），相比在强度帧上训练的 YOLOv3（25.94 AP50）提升了 40%。
• 仅使用 10% 真实白天事件数据对 v2e 训练的模型 GN-D1 进行微调，可达到 68.55 AP50，比在 10% 真实数据上训练的基线模型（47.88 AP50）高出 43%。
• v2e 生成的合成夜间事件性能反而劣于 YOLOv3 的反直觉结果，被解释为 v2e 的均匀运动模糊与真实夜间场景中车灯造成的局部照明不匹配所致。
• 在真实夜间事件数据上训练的嫁接网络 GN-N1 达到 29.38 AP50，表明事件相机在低光照条件下比强度相机更具鲁棒性。
• v2e 工具箱成功建模了关键非理想特性，如强度相关带宽和时间噪声，使得合成事件的逼真度优于先前的仿真器（如 ESIM 或 rpg_vid2e）。