[论文解读] Sequential Causal Imitation Learning with Unobserved Confounders

Daniel Kumor, Junzhe Zhang+1 more|arXiv (Cornell University)|Aug 12, 2022

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种图形准则和高效算法，用于确定在观察到不同变量的情况下，模仿者是否能完美复制示范者在序列决策任务中的表现，尤其在存在未观测混杂因素时。该方法确保了可模仿性既必要又充分，从而实现了具有潜变量的多阶段环境中的因果模仿学习。

ABSTRACT

"Monkey see monkey do" is an age-old adage, referring to naïve imitation without a deep understanding of a system's underlying mechanics. Indeed, if a demonstrator has access to information unavailable to the imitator (monkey), such as a different set of sensors, then no matter how perfectly the imitator models its perceived environment (See), attempting to reproduce the demonstrator's behavior (Do) can lead to poor outcomes. Imitation learning in the presence of a mismatch between demonstrator and imitator has been studied in the literature under the rubric of causal imitation learning (Zhang et al., 2020), but existing solutions are limited to single-stage decision-making. This paper investigates the problem of causal imitation learning in sequential settings, where the imitator must make multiple decisions per episode. We develop a graphical criterion that is necessary and sufficient for determining the feasibility of causal imitation, providing conditions when an imitator can match a demonstrator's performance despite differing capabilities. Finally, we provide an efficient algorithm for determining imitability and corroborate our theory with simulations.

研究动机与目标

• 解决专家与模仿者之间观测不匹配时，序列决策中因果模仿学习的空白。
• 识别在模仿者观察到不同变量的情况下，模仿者能够实现与示范者完全相同表现的精确图形条件。
• 开发一种高效算法，以确定可模仿性并为序列中的每个动作合成最优模仿策略。
• 证明所提出的准则在具有潜变量的序列因果模型中，对于可模仿性而言既是必要也是充分的。

提出的方法

• 该方法采用结构因果模型（SCM）来表示领域中的因果结构，编码示范者与模仿者所观察到的变量。
• 提出一种新的图形准则，通过分析因果图中与do-演算兼容的干预和后门路径，来确定可模仿性。
• 该算法系统性地检查各时间步是否存在有效的调整集，以确保未观测混杂因素不会对模仿策略造成偏差。
• 它利用时间顺序和条件独立性，识别在每个决策点中哪些可观测变量可弥补缺失的观测。
• 该方法设计为计算高效，避免密度估计或大规模数据处理。
• 通过建模早期动作的误差可被后续动作纠正的方式，将先前单阶段因果模仿的工作扩展至序列设置。

实验结果

研究问题

• RQ1 在模仿者与示范者观察到不同变量集的情况下，何种图形条件可使模仿者在序列决策过程中完美模仿示范者的行为？
• RQ2 在多个时间步中存在未观测混杂因素时，是否能够确定可模仿性？若可，其必要且充分的条件是什么？
• RQ3 如何构建模仿者的策略，使其在示范者可访问潜变量的情况下，仍能达到与示范者相当的性能？
• RQ4 该方法能否区分因未观测混杂因素导致模仿在根本上不可能的情况，与通过合理变量选择可实现模仿的情况？
• RQ5 与依赖可观测父母变量或所有协变量的非因果方法（如行为克隆）相比，该方法有何差异？

主要发现

• 所提出的图形准则在具有未观测混杂因素的序列因果模仿学习中，对于确定可模仿性而言，既必要又充分。
• 在模拟实验中，该方法在最复杂情形下（图1d）平均误差仅为0.19±0.29%，显著优于非因果基线方法。
• 仅使用可观测父母变量或所有协变量的行为克隆导致了偏差结果（如表1中误差达26.00±0.39%），而所提方法保持无偏。
• 该方法正确识别出在未观测变量导致根本识别问题的情况下无法实现模仿，而与之相比，非因果方法则未能识别。
• 在基于真实世界HighD数据构建的对抗性合成模型中，该方法接近专家水平表现，而非因果方法则产生了有偏策略。
• 该算法成功识别出后续动作可纠正早期决策的误差，从而在中间变量未被观测时仍能实现可模仿性。