[论文解读] SAM: Squeeze-and-Mimic Networks for Conditional Visual Driving Policy Learning

Albert Zhao, Tong He+4 more|arXiv (Cornell University)|Dec 6, 2019

Advanced Neural Network Applications参考文献 33被引用 13

一句话总结

本文提出SAM（Squeeze-and-Mimic Networks），一种用于视觉驾驶策略学习的条件模仿学习框架，通过利用侧任务（如语义分割或物体可操作性）来提升性能，而无需显式预测侧任务。该方法训练一个'压缩'网络，将侧任务标注映射到驾驶控制，提取与驾驶相关表征；随后将该知识蒸馏到仅使用图像的'mimic'网络中，从而避免与侧任务相关的干扰因素，提升鲁棒性和泛化能力。

ABSTRACT

We describe a policy learning approach to map visual inputs to driving controls conditioned on turning command that leverages side tasks on semantics and object affordances via a learned representation trained for driving. To learn this representation, we train a squeeze network to drive using annotations for the side task as input. This representation encodes the driving-relevant information associated with the side task while ideally throwing out side task-relevant but driving-irrelevant nuisances. We then train a mimic network to drive using only images as input and use the squeeze network's latent representation to supervise the mimic network via a mimicking loss. Notably, we do not aim to achieve the side task nor to learn features for it; instead, we aim to learn, via the mimicking loss, a representation of the side task annotations directly useful for driving. We test our approach using the CARLA simulator. In addition, we introduce a more challenging but realistic evaluation protocol that considers a run that reaches the destination successful only if it does not violate common traffic rules. A video summarizing this work is available at https://youtu.be/ipKAMzmJpMs , and code is available at https://github.com/twsq/sam-driving .

研究动机与目标

• 解决在原始图像输入存在干扰因素的情况下，学习鲁棒且泛化能力强的视觉驾驶策略的挑战。
• 克服先前方法因侧任务估计误差或因侧任务与主任务不匹配而学习到与驾驶无关特征的局限性。
• 开发一种框架，利用侧任务标注来提取与驾驶相关的情境表征，而非为了解决侧任务本身。
• 通过训练一个mimic网络来模仿由侧任务标注训练的squeeze网络的潜在特征，从而在推理阶段无需真实侧任务预测，提升策略的泛化能力。
• 引入一种更真实的评估协议——Traffic-school，该协议对多种违规行为（如闯红灯、碰撞）进行惩罚，相较于标准的成功率指标，能更可靠地评估基准性能。

提出的方法

• 训练一个'压缩'网络，将侧任务标注（如语义分割）直接映射到驾驶控制，学习仅编码与驾驶相关上下文的表征。
• 从压缩网络的隐藏层中提取深层特征，这些特征仅针对驾驶性能进行训练，因此不包含与驾驶无关的、与侧任务相关的细节。
• 训练一个'mimic'网络，将原始图像映射到控制输出，使用一种模仿损失，使其内部特征与压缩网络的表征对齐。
• 在训练过程中使用模仿损失来监督mimic网络，使其在推理阶段无需接触侧任务标注，即可学习到与驾驶相关的表征。
• 通过在推理阶段完全避免显式预测侧任务输出，消除了估计误差的风险。
• 在CARLA模拟器中使用新基准Traffic-school评估该方法，该基准对多种交通规则违规行为进行惩罚，从而提供更真实的成功度量指标。

实验结果

研究问题

• RQ1 是否可以利用侧任务标注来提升驾驶策略的泛化能力，而无需在推理阶段显式预测侧任务？
• RQ2 通过从侧任务标注中学习与驾驶相关的表征（而不优化侧任务本身），是否能比标准模仿学习或多任务方法带来更好的鲁棒性和性能？
• RQ3 在多样化且具有挑战性的驾驶条件下，该方法与现有基线相比，在成功率和交通规则遵守方面表现如何？
• RQ4 模仿损失是否能有效将来自压缩网络的与驾驶相关知识迁移至mimic网络，而不会引入与侧任务相关的干扰因素？
• RQ5 像Traffic-school这样的更真实评估协议，是否能比标准的成功率指标更好地捕捉策略的安全性和可靠性？

主要发现

• 在Traffic-school评估协议下，SAM模型在CILRS基准上的平均成功率为63.0 ± 1.0%，优于原始CILRS方法（61.0 ± 0.7%），表现出更强的鲁棒性。
• 在新的城镇/天气设置下，SAM在Traffic-school上的成功率为27.0 ± 3.0%，表明在复杂条件下相比基线方法具有更好的泛化能力。
• 由于成功地将与驾驶相关的情境信息与与侧任务相关的噪声分离，该方法在包括密集交通和恶劣天气在内的多样化场景中表现出一致的性能。
• Traffic-school基准显示，随着交通密度增加，性能并未单调下降，表明部分智能体从车辆交互中受益，凸显了多违规行为评估的重要性。
• 使用作者发布的代码重新运行CILRS实验，结果与原始论文相当，验证了基准和所提方法性能的可复现性与可靠性。
• 消融实验表明，模仿损失能有效将来自压缩网络的与驾驶相关的特征迁移至mimic网络，即使在推理阶段无法访问侧任务标注的情况下，也能实现高性能。