[论文解读] Robust Maximum Entropy Behavior Cloning

Mostafa Hussein, Brendan Crowe+2 more|arXiv (Cornell University)|Jan 4, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用 4

一句话总结

该论文提出了一种新型模仿学习框架——鲁棒最大熵行为克隆（RM-ENT），通过在最大熵策略学习设置中引入基于熵的加权机制，自主检测并排除对抗性演示。与标准行为克隆和逆强化学习相比，该方法在对抗性数据污染下表现出更优的鲁棒性和样本效率，且无需仿真环境或额外样本。

ABSTRACT

Imitation learning (IL) algorithms use expert demonstrations to learn a specific task. Most of the existing approaches assume that all expert demonstrations are reliable and trustworthy, but what if there exist some adversarial demonstrations among the given data-set? This may result in poor decision-making performance. We propose a novel general frame-work to directly generate a policy from demonstrations that autonomously detect the adversarial demonstrations and exclude them from the data set. At the same time, it's sample, time-efficient, and does not require a simulator. To model such adversarial demonstration we propose a min-max problem that leverages the entropy of the model to assign weights for each demonstration. This allows us to learn the behavior using only the correct demonstrations or a mixture of correct demonstrations.

研究动机与目标

• 解决模仿学习中因对抗性或错误演示导致策略性能下降的关键局限。
• 开发一种无需先验标注或仿真器访问即可自动识别并排除对抗性演示的方法。
• 通过利用最大熵原理，在存在噪声或对抗性数据的情况下保持高性能与样本效率。
• 仅使用专家演示即可实现鲁棒策略学习，即使部分演示为次优或对抗性。
• 在数据污染条件下，性能超越标准行为克隆与逆强化学习，在准确率与鲁棒性方面均表现更优。

提出的方法

• 该框架将最小-最大优化问题形式化，以在专家与学习策略之间匹配特征期望的同时最大化策略熵。
• 基于每条演示对策略熵的贡献，为其分配自适应权重，从而有效识别并降低对抗性或随机演示的影响。
• 采用拉格朗日松弛法求解约束优化问题，支持通过基于梯度的方法进行端到端训练。
• 使用神经网络参数化策略，同时学习权重以区分可靠与对抗性演示。
• 该方法无需仿真器或额外轨迹采样，因而具备时间与样本效率。
• 将策略分布的熵用作演示质量的代理指标：熵越高，表示行为越随机或具有对抗性。

实验结果

研究问题

• RQ1 行为克隆框架能否在无需先验标注或仿真器访问的情况下，自动检测并排除对抗性演示？
• RQ2 基于熵的加权机制在数据污染环境下如何提升模仿学习的鲁棒性？
• RQ3 在存在对抗性或随机演示的情况下，所提方法相较于标准行为克隆与IRL的性能提升程度如何？
• RQ4 当多数演示为对抗性时，该方法是否仍能保持高性能？
• RQ5 与现有IRL与BC方法相比，该方法在样本效率与时间效率方面表现如何？

主要发现

• 在5×5网格世界环境中，RM-ENT正确地为正确演示分配0.5的权重，为对抗性演示分配0.0的权重，在混合数据集中实现了83%的准确率。
• 在随机演示存在的情况下，该框架实现了92%的准确率，证明其能够基于熵有效检测随机或无结构行为。
• 在Mountain-Car与Acrobot任务中，RM-ENT在引入对抗性演示后仍保持稳定性能，而BC与IRL的准确率显著下降。
• 训练时间对比显示，该方法在OpenAI Gym环境中的收敛速度优于对比的IRL与BC基线方法。
• 当对抗性演示数量超过正确演示时，所有方法均收敛至类似随机的策略，但RM-ENT因具备有效检测能力，在早期阶段仍优于其他方法。
• 即使仅有两条正确演示可用，该框架仍成功排除了对抗性演示，证明其在低信噪比条件下的鲁棒性。