[论文解读] Shining light on the DVS pixel: A tutorial and discussion about biasing and optimization

Rui Graça, Brian McReynolds+1 more|arXiv (Cornell University)|Apr 10, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

本文全面介绍了动态视觉传感器（DVS）像素，详细阐述了偏置参数对信号响应、噪声和带宽的影响。提出了一种新颖的交互式偏置优化电子表格工具，可根据任务特定标准（如照度、物体速度和对比度）推荐最优偏置设置，实现硬件感知的相机配置，并提升事件视觉系统建模的准确性。

ABSTRACT

The operation of the DVS event camera is controlled by the user through adjusting different bias parameters. These biases affect the response of the camera by controlling - among other parameters - the bandwidth, sensitivity, and maximum firing rate of the pixels. Besides determining the response of the camera to input signals, biases significantly impact its noise performance. Bias optimization is a multivariate process depending on the task and the scene, to which the user's knowledge about pixel design and non-idealities can be of great importance. In this paper, we go step-by-step along the signal pathway of the DVS pixel, shining light on its low-level operation and non-idealities, comparing pixel level measurements with array level measurements, and discussing and how biasing and illumination affect the pixel's behavior. With the results and discussion presented, we aim to help DVS users achieve more hardware-aware camera utilization and modelling.

研究动机与目标

• 提供DVS像素工作的详细且易于理解的解释，重点聚焦于低层次信号处理和以往研究中常被忽视的非理想性。
• 阐明偏置参数（带宽、灵敏度、不应期）的多变量影响，包括对事件输出、噪声和信号保真度的影响。
• 通过实测内部像素电压和阵列级行为，纠正关于DVS响应的常见误解。
• 开发一种实用且用户友好的偏置优化工具，根据任务和场景约束推荐设置。
• 通过揭示事件如何编码信号、噪声和漏电流，提升DVS建模与仿真的准确性。

提出的方法

• 在隔离于DAVIS346阵列之外的测试像素上进行了广泛的节点电压测量，以可视化DVS像素各阶段的信号传播过程。
• 将像素级测量结果与阵列级事件输出相关联，分析照度和偏置设置对带宽和噪声的影响。
• 分析光敏元件偏置、不应期与时间对比度阈值之间的相互作用，揭示了诸如亮度增加导致阈值漂移等非直观行为。
• 通过评估64种任务与场景条件组合（如物体速度、对比度、照度）建立多变量偏置优化框架。
• 开发了一款在线电子表格工具，将每种场景映射到相对的偏置‘调整’（如快速-中等-慢速带宽，低-中-高灵敏度），实现即用功能。
• 提出一种新解释：事件是信号、噪声和结漏电流的复合体，其中漏电流可被视作有效时间对比度阈值的时变偏移。

实验结果

研究问题

• RQ1 各个偏置参数（带宽、灵敏度、不应期）如何相互作用，以塑造DVS像素对动态场景的响应？
• RQ2 电路级效应引发的非理想行为（如复位期间的信号偏差或阈值漂移）有哪些？它们如何影响性能？
• RQ3 如何系统性地优化偏置设置的多变量依赖性，以适应多样化应用和场景条件？
• RQ4 噪声和漏电流在多大程度上贡献于事件生成？如何建模以提升仿真精度？
• RQ5 能否设计一种统一的交互式工具，根据任务特定需求引导用户选择最优偏置配置？

主要发现

• 由于复位期间的信号失真，复极化电流（I_refr）存在实际的上限，尤其在不应期低于100 μs时，影响像素稳定性。
• 带宽与灵敏度共同决定可检测的最小物体速度和亮度，其中更高灵敏度会增加噪声率。
• 阈值水平随照度变化而随时间漂移，表明时间对比度阈值并非静态，而是受亮度动态调制。
• 事件不仅编码信号，还编码噪声和结漏电流，后者可被解释为有效时间对比度阈值的时变偏移。
• 所提出的偏置优化工具为64种场景提供了偏置调节的起点，相对调整（如‘快速’带宽、‘高’灵敏度）根据任务和场景参数量身定制。
• 内部节点电压测量揭示了非直观行为，如复位期间的瞬态电压偏差，这些现象常被忽略但显著影响像素保真度。