[论文解读] Preventing Failures Due to Dataset Shift: Learning Predictive Models That Transport

Adarsh Subbaswamy, Peter Schulam+1 more|arXiv (Cornell University)|Dec 11, 2018

Machine Learning in Healthcare被引用 80

一句话总结

本文提出 Graph Surgery，通过利用来自具有选择变量的因果 DAG 的可识别干预分布，让模型在具有不同数据生成机制的环境中实现可迁移的稳定预测。

ABSTRACT

Classical supervised learning produces unreliable models when training and target distributions differ, with most existing solutions requiring samples from the target domain. We propose a proactive approach which learns a relationship in the training domain that will generalize to the target domain by incorporating prior knowledge of aspects of the data generating process that are expected to differ as expressed in a causal selection diagram. Specifically, we remove variables generated by unstable mechanisms from the joint factorization to yield the Surgery Estimator---an interventional distribution that is invariant to the differences across environments. We prove that the surgery estimator finds stable relationships in strictly more scenarios than previous approaches which only consider conditional relationships, and demonstrate this in simulated experiments. We also evaluate on real world data for which the true causal diagram is unknown, performing competitively against entirely data-driven approaches.

研究动机与目标

• 在训练与部署环境的数据生成过程不同步时，推动可靠性。
• 引入一种前瞻性方法，利用因果先验知识构建可迁移的预测变量。
• 开发 Graph Surgery 估计器，使跨环境获得稳定的干预分布。
• 证明估计器的正确性和完备性，并将其与图剪枝以及分布鲁棒性联系起来。

提出的方法

• 使用选择图来建模环境变化机制，并将可变变量 M 识别为选择节点 S 的子变量。
• 在 ADMG 上应用 ID 算法以识别预测目标 T 的干预分布。
• 通过对 M（以及可能的 T）进行干预来枚举可能的干预分布，并通过留出源环境验证选择最佳的可识别分布。
• 证明图剪枝是图手术的特例，且手术在环境上的分布鲁棒性上进行优化。
• 给出理论保证：正确性（稳定估计器）和完备性（若存在稳定手术估计器则存在）。
• 将该方法与跨环境分布 Γ 的极小极大鲁棒性相关联。

实验结果

研究问题

• RQ1 是否可以在没有目标域数据的情况下，使预测模型对环境变化机制保持稳定？
• RQ2 通过干预分布对可变变量进行干预，在环境之间选择机制不同的情况下，是否能产生稳定预测？
• RQ3 在哪些情形下，Graph Surgery 明显优于 Graph Pruning 以及其它被动域自适应方法？
• RQ4 Graph Surgery 如何与分布鲁棒性和在数据集转移下的极小极大最优性相关联？

主要发现

• Graph surgery 产生对选择机制不变的稳定预测，并且能够处理目标转移，即目标变量可变的情况。
• Graph pruning 是图手术的一个特例；手术推广了剪枝，在剪枝失败的情形下也能成功。
• 在仿真中，手术对未见环境变化的泛化比OLS和如因果迁移学习（CT）等竞争方法更好。
• 在 Bike Sharing 数据上，手术相对于替代方法在均方误差方面具有竞争力，在若干测试分割中表现最好；AR 在某些设置中仍然强劲，但需要锚点假设。
• 理论结果表明，手术在识别稳定干预预测变量方面是正确且完备的，并且在稳定、直接可迁移关系中具有极小极大最优性。