[论文解读] Policy Evaluation with Latent Confounders via Optimal Balance

Andrew Bennett, Nathan Kallus|arXiv (Cornell University)|Aug 6, 2019

Advanced Bandit Algorithms Research被引用 3

一句话总结

本文提出了一种用于具有潜在混杂因素的上下文Bandit中策略评估的新型重要性加权方法，通过对抗优化实现未观测混杂因素的最优平衡，而无需拟合潜在结果回归模型。该方法通过最小化对抗目标，在一般结果模型下确保估计的一致性，克服了标准密度比在混杂因素未被观测时的局限性。

ABSTRACT

Evaluating novel contextual bandit policies using logged data is crucial in applications where exploration is costly, such as medicine. But it usually relies on the assumption of no unobserved confounders, which is bound to fail in practice. We study the question of policy evaluation when we instead have proxies for the latent confounders and develop an importance weighting method that avoids fitting a latent outcome regression model. Surprisingly, we show that there exist no single set of weights that give unbiased evaluation regardless of outcome model, unlike the case with no unobserved confounders where density ratios are sufficient. Instead, we propose an adversarial objective and weights that minimize it, ensuring sufficient balance in the latent confounders regardless of outcome model. We develop theory characterizing the consistency of our method and tractable algorithms for it. Empirical results validate the power of our method when confounders are latent.

研究动机与目标

• 解决在存在未观测混杂因素时，标准方法因偏差而影响上下文Bandit中策略评估的挑战。
• 开发一种避免拟合潜在结果回归模型的方法，以减少对模型的依赖。
• 通过利用代理变量和最优平衡，确保在存在未观测混杂因素时实现无偏策略评估。
• 在一般结果模型下建立所提方法的理论一致性。
• 设计适用于医疗等现实世界应用中实际部署的可计算算法。

提出的方法

• 提出一种对抗目标，通过最小化不同动作间潜在混杂因素的不平衡，确保对结果模型误设的鲁棒性。
• 利用潜在混杂因素的代理变量构建权重，以在不同动作间平衡这些代理变量的分布。
• 采用重要性加权与对偶优化框架，寻找在潜在空间中实现最优平衡的权重。
• 提出一个理论框架，证明在较弱正则性条件下，估计量具有一致性。
• 基于神经网络或核方法开发可计算的算法，以求解对抗优化问题。
• 依赖于一个原则：代理变量的充分平衡可确保对未观测混杂因素的充分控制，即使未直接观测到这些混杂因素。

实验结果

研究问题

• RQ1 当存在未观测混杂因素但有代理变量可用时，能否实现一致的策略评估？
• RQ2 是否存在一组单一权重，可在存在潜在混杂因素时确保所有结果模型下的无偏评估？
• RQ3 在代理变量上进行对抗优化是否能带来比标准重要性加权更优的平衡与估计效果？
• RQ4 在潜在混杂因素存在的情况下，所提方法与现有方法在偏差与方差方面有何比较？
• RQ5 在一般结果模型下，估计量的一致性可提供哪些理论保证？

主要发现

• 当存在潜在混杂因素时，不存在一组单一权重可确保在所有结果模型下实现无偏评估，这与无混杂因素的情形不同。
• 所提出的对抗性加权方法通过最小化确保潜在混杂因素平衡的目标函数，实现了稳定的策略评估。
• 该方法无需拟合潜在结果回归模型，从而降低了对模型的依赖与复杂度。
• 理论分析在代理变量与结果分布的较弱正则性条件下，建立了估计量的一致性。
• 实证结果表明，在强潜在混杂因素的设定下，该方法优于基线方法。
• 该方法对结果模型的误设具有鲁棒性，因此适用于医疗等现实世界应用。