[论文解读] Policy Pre-training for Autonomous Driving via Self-supervised Geometric Modeling

Penghao Wu, Li Chen+4 more|arXiv (Cornell University)|Jan 3, 2023

Advanced Neural Network Applications被引用 7

一句话总结

本文提出PPGeo，一种用于自动驾驶的完全自监督预训练框架，通过利用未校准的YouTube驾驶视频对3D场景进行几何建模，学习鲁棒的驾驶策略表征。通过在两阶段过程中联合预测位姿和深度，并从单帧观测中优化未来自运动预测，PPGeo在使用极少标注数据的情况下，在下游视觉-动作任务中实现了SOTA性能，性能提升范围从2%到超过100%。

ABSTRACT

Witnessing the impressive achievements of pre-training techniques on large-scale data in the field of computer vision and natural language processing, we wonder whether this idea could be adapted in a grab-and-go spirit, and mitigate the sample inefficiency problem for visuomotor driving. Given the highly dynamic and variant nature of the input, the visuomotor driving task inherently lacks view and translation invariance, and the visual input contains massive irrelevant information for decision making, resulting in predominant pre-training approaches from general vision less suitable for the autonomous driving task. To this end, we propose PPGeo (Policy Pre-training via Geometric modeling), an intuitive and straightforward fully self-supervised framework curated for the policy pretraining in visuomotor driving. We aim at learning policy representations as a powerful abstraction by modeling 3D geometric scenes on large-scale unlabeled and uncalibrated YouTube driving videos. The proposed PPGeo is performed in two stages to support effective self-supervised training. In the first stage, the geometric modeling framework generates pose and depth predictions simultaneously, with two consecutive frames as input. In the second stage, the visual encoder learns driving policy representation by predicting the future ego-motion and optimizing with the photometric error based on current visual observation only. As such, the pre-trained visual encoder is equipped with rich driving policy related representations and thereby competent for multiple visuomotor driving tasks. Extensive experiments covering a wide span of challenging scenarios have demonstrated the superiority of our proposed approach, where improvements range from 2% to even over 100% with very limited data.

研究动机与目标

• 通过在大规模无标注数据上预训练视觉表征，解决端到端自动驾驶中视觉-动作策略学习的样本效率低下问题。
• 克服通用预训练方法（如ImageNet、对比学习）依赖数据增强实现视图和平移不变性所带来的局限，这些方法在动态、复杂场景的驾驶任务中表现不佳。
• 开发一种面向驾驶的预训练范式，使模型聚焦于几何关系和决策关键视觉线索（如交通信号灯），而非无关背景或干扰物。
• 通过自监督几何重建学习与策略相关的表征，实现对下游视觉-动作驾驶任务的有效迁移。
• 提供一种完全自监督的伪标签方法（如ACO、SelfD）替代方案，避免对可能不准确的逆动力学模型或目标域标注的依赖。

提出的方法

• 采用两阶段预训练流程：首先，几何建模网络从两帧连续视频帧中预测相对位姿和深度，无需校准。
• 在第二阶段，视觉编码器通过基于光度一致性损失，从单帧当前图像预测未来自运动，学习驾驶策略表征。
• 利用自监督几何重建作为预训练目标，聚焦于学习对驾驶决策至关重要的时空关系。
• 通过结合几何监督（位姿和深度）与策略感知监督（未来自运动预测），端到端训练视觉编码器，使用无标注的YouTube驾驶视频。
• 仅基于当前帧观测的光度误差优化视觉编码器，使其在推理过程中无需未来帧监督，即可学习与驾驶相关的特征。
• 利用大规模、未经筛选且未校准的YouTube驾驶视频进行模型预训练，确保广泛的领域覆盖，并增强对光照、天气和场景复杂性等真实世界变化的鲁棒性。

实验结果

研究问题

• RQ1 基于几何建模的完全自监督预训练框架是否能在视觉-动作自动驾驶中相比通用预训练方法提升样本效率？
• RQ2 通过3D几何重建学习驾驶策略表征，是否能在下游驾驶任务上实现比对比学习或掩码图像建模方法更好的泛化性能？
• RQ3 自监督几何预训练在多大程度上可减少端到端自动驾驶策略学习中对大规模标注数据集的依赖？
• RQ4 PPGeo的两阶段训练流程——先学习位姿和深度，再预测未来自运动——如何增强模型捕捉决策相关视觉模式的能力？
• RQ5 预训练的视觉编码器是否能在无需微调的情况下，泛化到包括光照不良和恶劣天气在内的多样化驾驶场景？

主要发现

• 在仅使用极少标注数据进行微调时，PPGeo在多个下游视觉-动作驾驶任务中实现了2%至超过100%的性能提升。
• 该方法在基准驾驶任务上优于Peer预训练方法（如ImageNet、对比学习、掩码图像建模），展现出更优的样本效率。
• 预训练的视觉编码器学会聚焦于决策关键的视觉线索（如交通信号灯），同时抑制无关背景元素（如远处的建筑物和静态障碍物）。
• 两阶段预训练流程使视觉编码器能够从单帧输入中学习到鲁棒的自运动和几何结构表征，即使没有显式的未来帧监督。
• 预训练几何建模网络的附加优势提升了深度估计和里程计性能，表明其在策略学习之外也具有更广泛的应用价值。
• PPGeo避免了对伪标签或逆动力学模型的依赖，相较于依赖可能不准确标签的ACO或SelfD等方法，更具鲁棒性和可扩展性。