[论文解读] Representation Learning for Event-based Visuomotor Policies

Sai Vemprala, Sami Mian+1 more|arXiv (Cornell University)|Mar 1, 2021

Advanced Vision and Imaging参考文献 44被引用 9

一句话总结

本文提出一种事件变分自编码器（eVAE），直接从事件相机的异步时空事件流中学习紧凑且不变的表征。通过利用时间嵌入和无监督预训练，eVAE 使视觉-运动策略在高速避障任务中的强化学习更加快速且鲁棒，其在泛化能力、稀疏性及抗噪性方面优于基于图像的基线方法。

ABSTRACT

Event-based cameras are dynamic vision sensors that provide asynchronous measurements of changes in per-pixel brightness at a microsecond level. This makes them significantly faster than conventional frame-based cameras, and an appealing choice for high-speed navigation. While an interesting sensor modality, this asynchronously streamed event data poses a challenge for machine learning techniques that are more suited for frame-based data. In this paper, we present an event variational autoencoder and show that it is feasible to learn compact representations directly from asynchronous spatiotemporal event data. Furthermore, we show that such pretrained representations can be used for event-based reinforcement learning instead of end-to-end reward driven perception. We validate this framework of learning event-based visuomotor policies by applying it to an obstacle avoidance scenario in simulation. Compared to techniques that treat event data as images, we show that representations learnt from event streams result in faster policy training, adapt to different control capacities, and demonstrate a higher degree of robustness.

研究动机与目标

• 解决将传统机器学习方法应用于事件相机产生的异步、稀疏事件数据的挑战。
• 开发一种表征学习框架，以保留时间分辨率，并对数据排列和稀疏性保持不变性。
• 利用事件流表征而非基于帧的输入，实现视觉-运动策略的端到端强化学习。
• 提升策略在不同控制频率、环境分布和传感器噪声下的泛化能力。
• 展示在高速机器人导航任务中使用学习到的事件表征的可行性和优势。

提出的方法

• 提出一种事件变分自编码器（eVAE），通过时空特征网络处理原始的异步事件字节流。
• 采用受 Transformer 启发的时间嵌入机制，以在潜在空间中保留事件的时间信息。
• 使用变分推理框架，从任意长度的事件序列中学习平滑、解耦且紧凑的表征。
• 支持批量或递归处理事件数据，实现实时推理并适应不同的控制频率。
• 利用 eVAE 学习到的表征作为观测值，通过强化学习训练视觉-运动策略。
• 将 eVAE 与策略网络集成，使其在不同数据速率和环境分布下均具有泛化能力。

实验结果

研究问题

• RQ1 从原始事件流中进行无监督表征学习是否能生成适合视觉-运动控制的紧凑且有意义的表征？
• RQ2 与基于图像的方法相比，使用 eVAE 学习到的表征是否能提升强化学习中的训练速度和鲁棒性？
• RQ3 在不同障碍物纹理、形状或运动模式的分布外环境中，基于 eVAE 表征训练的策略是否具备泛化能力？
• RQ4 在人为引入的数据稀疏性或传感器噪声（如背景活动）条件下，eVAE 表征的表现如何？
• RQ5 eVAE 表征在不同事件相机阈值和控制频率下，性能保持程度如何？

主要发现

• 在模拟避障任务中，基于 eVAE 表征训练的策略相比端到端基于图像的方法实现了更快的训练收敛速度。
• eVAE 表征使策略能够泛化到不同障碍物纹理和形状，在分布外设置下优于端到端图像策略（EIP）。
• 即使事件数据稀疏度达到 50%（由于像素丢失），eVAE 基础策略仍保持高性能，展现出对稀疏性的鲁棒性。
• eVAE 表征对事件相机阈值变化具有不变性，使策略无需微调即可适应不同灵敏度水平。
• 在背景活动噪声存在的情况下，eVAE 基础策略（BRP）仍优于 EIP，尽管 BRP-full 对极性噪声的敏感性高于 BRP-xy。
• eVAE 框架实现了对未见过环境的有效策略迁移，包括具有运动纹理和多种障碍物类型的复杂场景，证实了其强大的泛化能力。