[论文解读] Real-time Classification from Short Event-Camera Streams using Input-filtering Neural ODEs

Giorgio Giannone, Asha Anoosheh+4 more|arXiv (Cornell University)|Apr 7, 2020

Advanced Memory and Neural Computing参考文献 31被引用 8

一句话总结

本文提出输入过滤神经ODE（INODE），一种连续时间循环架构，可直接处理DVS摄像头生成的异步事件流，无需预处理或事件积分。INODE在短事件分类任务中优于LSTM基线模型，尤其在低数据环境下表现更优，通过基于微分方程的隐藏状态演化，充分利用精确的时间信息，展现出卓越的样本效率和实时推理能力。

ABSTRACT

Event-based cameras are novel, efficient sensors inspired by the human vision system, generating an asynchronous, pixel-wise stream of data. Learning from such data is generally performed through heavy preprocessing and event integration into images. This requires buffering of possibly long sequences and can limit the response time of the inference system. In this work, we instead propose to directly use events from a DVS camera, a stream of intensity changes and their spatial coordinates. This sequence is used as the input for a novel \emph{asynchronous} RNN-like architecture, the Input-filtering Neural ODEs (INODE). This is inspired by the dynamical systems and filtering literature. INODE is an extension of Neural ODEs (NODE) that allows for input signals to be continuously fed to the network, like in filtering. The approach naturally handles batches of time series with irregular time-stamps by implementing a batch forward Euler solver. INODE is trained like a standard RNN, it learns to discriminate short event sequences and to perform event-by-event online inference. We demonstrate our approach on a series of classification tasks, comparing against a set of LSTM baselines. We show that, independently of the camera resolution, INODE can outperform the baselines by a large margin on the ASL task and it's on par with a much larger LSTM for the NCALTECH task. Finally, we show that INODE is accurate even when provided with very few events.

研究动机与目标

• 解决来自动态视觉传感器（DVS）的高频、异步事件流的实时、低延迟分类挑战。
• 消除对事件积分或分箱为图像的需求，以避免时间精度损失并降低延迟。
• 开发一种原生处理不规则时间事件输入的连续时间学习框架，以保留细粒度的时间信息。
• 实现在线、事件逐个处理的推理，计算开销极小，且具备高样本效率。

提出的方法

• INODE通过允许连续、异步的输入信号——特别是事件极性和空间坐标——进入隐藏状态动力学，扩展了神经ODE（NODEs）。
• 模型使用批处理前向欧拉求解器处理不规则间隔的事件时间戳，实现高效且稳定的训练与推理。
• 隐藏状态根据学习到的ODE演化：dh/dt = f(h, t, x(t))，其中x(t)表示输入事件流。
• 事件输入直接输入ODE系统，无需卷积层或时间离散化，从而保留原始事件时间信息。
• 网络通过标准时间反向传播端到端训练，梯度通过伴随敏感性方法计算。
• 该架构支持在线推理：每个新事件到达时实时更新预测，实现低延迟决策。

实验结果

研究问题

• RQ1 连续时间神经网络架构能否在无需预处理或事件积分的情况下，有效分类来自DVS摄像头的短事件序列？
• RQ2 当仅有少量事件可用时，INODE在准确率和推理速度方面与标准RNN（如LSTM）相比表现如何？
• RQ3 INODE在多大程度上利用了事件流中的精确时间信息？这种利用对具有挑战性的低数据分类任务性能有何影响？
• RQ4 INODE是否对相机分辨率和事件频率的变化具有鲁棒性，从而支持在多种硬件配置下的部署？

主要发现

• 在ASL数据集上，INODE显著优于所有LSTM基线模型，即使仅使用20%的训练数据和最少20次推理事件，也实现了更高的准确率。
• 在NCALTECH数据集上，INODE在仅使用30个隐藏单元的情况下，性能与使用128个隐藏单元的大型LSTM模型（双向LSTM）相当。
• INODE在极小数据量下保持高性能，随着数据复杂度增加或训练数据减少，性能提升微弱，表明其具备强大的样本效率。
• 该模型在极少数事件下即可实现准确的在线分类——序列中仅20个事件时表现良好，适用于实时、低延迟应用。
• INODE对相机分辨率不变，可直接处理原始、含噪声的事件流，无需预处理或分箱。
• 消融实验确认，通过连续时间建模保留精确事件时间至关重要，因为当事件时间被离散化或丢失时，INODE性能显著下降。