[论文解读] Sim-Real Joint Reinforcement Transfer for 3D Indoor Navigation

Fengda Zhu, Linchao Zhu+1 more|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications参考文献 45被引用 7

一句话总结

该论文提出了一种联合强化迁移（JRT）框架，通过对抗性特征对齐和策略模仿，同时将合成环境中的视觉表征和策略行为迁移至真实3D室内环境。该方法在无需人工标注数据的情况下，相较于微调基线模型，导航成功率提升了21.73%，证明了领域自适应与策略模仿在真实世界部署中存在相互增强关系。

ABSTRACT

There has been an increasing interest in 3D indoor navigation, where a robot in an environment moves to a target according to an instruction. To deploy a robot for navigation in the physical world, lots of training data is required to learn an effective policy. It is quite labour intensive to obtain sufficient real environment data for training robots while synthetic data is much easier to construct by rendering. Though it is promising to utilize the synthetic environments to facilitate navigation training in the real world, real environment are heterogeneous from synthetic environment in two aspects. First, the visual representation of the two environments have significant variances. Second, the houseplans of these two environments are quite different. Therefore two types of information, i.e. visual representation and policy behavior, need to be adapted in the reinforcement model. The learning procedure of visual representation and that of policy behavior are presumably reciprocal. We propose to jointly adapt visual representation and policy behavior to leverage the mutual impacts of environment and policy. Specifically, our method employs an adversarial feature adaptation model for visual representation transfer and a policy mimic strategy for policy behavior imitation. Experiment shows that our method outperforms the baseline by 19.47% without any additional human annotations.

研究动机与目标

• 为解决机器人在3D室内导航中真实世界训练数据有限的挑战。
• 弥合合成环境与真实环境之间的领域差距，二者在视觉外观和布局结构上存在差异。
• 联合适应视觉表征与策略行为，以提升真实世界场景下的泛化能力与性能表现。
• 通过利用大规模合成环境中的知识，消除对人工标注数据的依赖。
• 证明对抗性特征自适应与策略模仿在迁移学习过程中能够相互增强。

提出的方法

• 整合对抗性特征自适应，对齐合成域与真实域之间的视觉特征，降低表示空间中的领域偏移。
• 采用策略模仿策略，将预训练的合成环境策略导航行为迁移至真实环境。
• 在联合训练框架中结合两种自适应机制，实现视觉表征与策略行为之间的相互改进。
• 使用对抗性损失训练映射函数，将合成特征转换为与真实域分布匹配的形式。
• 应用模仿损失监督策略模仿，稳定训练过程，并防止在低数据真实环境中的过拟合。
• 利用身份损失保留特征学习中的语义一致性，增强对物体级别注意力（如门、墙）的捕捉能力。

实验结果

研究问题

• RQ1 联合适应视觉表征与策略行为是否能提升3D室内导航中的仿真到真实迁移性能？
• RQ2 对抗性特征自适应在多大程度上提升模型对真实环境中关键导航线索（如门）的关注能力？
• RQ3 策略模仿在低数据真实世界场景中，对稳定导航行为并减少过拟合的作用有多大？
• RQ4 身份损失与模仿损失对迁移性能的相对影响如何？
• RQ5 联合框架是否能在不增加人工标注的前提下，超越标准微调方法？

主要发现

• 所提出的JRT框架在无需任何人工标注数据的情况下，相较于微调基线模型，导航成功率提升了21.73%。
• 消融实验表明，模仿损失比身份损失更敏感，当其权重偏离最优值时，性能会迅速下降。
• 视觉注意力分析显示，采用对抗性自适应与身份损失的模型能聚焦于门等语义相关特征，而基线模型则注意力分散，难以定位目标。
• 策略模仿使模型在复杂真实环境中展现出稳定且具有探索性的导航行为，而缺乏该机制的模型则因过拟合而出现紊乱、循环的运动。
• 热力图可视化证实，联合自适应增强了特征学习：模型能够有效区分关键导航物体并加以关注。
• 视觉领域自适应与策略模仿之间的相互增强，带来了更优的中间表征与最终导航性能。