[论文解读] Triply Robust Off-Policy Evaluation

Anqi Liu, Hao Liu+2 more|arXiv (Cornell University)|Nov 13, 2019

Advanced Causal Inference Techniques参考文献 6被引用 4

一句话总结

本文通过将离策略评估建模为协变量偏移问题，并应用深度稳健回归来改进直接方法组件，提出了一种用于上下文Bandits的三重稳健离策略评估方法。该方法在提升直接方法和双重稳健估计器方面表现优异，尤其在记录策略未知时，通过改进偏差与方差控制，使复杂场景下的相对误差降低高达50%。

ABSTRACT

We propose a robust regression approach to off-policy evaluation (OPE) for contextual bandits. We frame OPE as a covariate-shift problem and leverage modern robust regression tools. Ours is a general approach that can be used to augment any existing OPE method that utilizes the direct method. When augmenting doubly robust methods, we call the resulting method Triply Robust. We prove upper bounds on the resulting bias and variance, as well as derive novel minimax bounds based on robust minimax analysis for covariate shift. Our robust regression method is compatible with deep learning, and is thus applicable to complex OPE settings that require powerful function approximators. Finally, we demonstrate superior empirical performance across the standard OPE benchmarks, especially in the case where the logging policy is unknown and must be estimated from data.

研究动机与目标

• 解决在记录策略常未知或估计不佳的上下文Bandits中进行离策略评估的挑战。
• 通过在协变量偏移下利用稳健回归，改进用于离策略评估的直接方法（DM）的偏差与方差。
• 通过整合稳健直接方法，将鲁棒性扩展至双重稳健方法，从而得到一种三重稳健估计器。
• 为所提出的框架提供关于偏差、方差和极小化最大风险的理论保证。
• 在标准基准测试中展示其经验优越性，尤其在高方差或记录策略未知的场景下表现更优。

提出的方法

• 将离策略评估建模为协变量偏移问题，其中目标策略的上下文-动作分布与记录策略的分布不同。
• 在直接方法组件中应用现代稳健回归技术，显式建模记录策略与目标策略分布之间的偏移。
• 通过在双重稳健框架中结合稳健直接方法与逆倾向得分，提出一种三重稳健（TR）估计器。
• 使用深度神经网络作为函数逼近器，以支持在复杂、高维场景中的应用。
• 基于最坏情况协变量偏移推导出新型极小化最大风险界，以分析所提估计器的鲁棒性。
• 采用一种通用框架，可通过将标准直接方法替换为基于稳健回归的替代方法，增强现有OPE方法。

实验结果

研究问题

• RQ1 为协变量偏移设计的稳健回归技术能否有效应用于改进上下文Bandits中的离策略评估？
• RQ2 将稳健回归集成到直接方法组件中，对离策略估计器的偏差与方差有何影响？
• RQ3 所得到的三重稳健估计器在理论上的保证是什么，特别是关于偏差、方差和极小化最大风险？
• RQ4 当记录策略未知或需从数据中估计时，该方法在经验上的表现如何？
• RQ5 该框架能否扩展以改进现有的双重稳健及其他最先进OPE方法？

主要发现

• 三重稳健估计器在记录策略未知或从数据中估计时，始终优于标准双重稳健方法，相对误差降低高达50%。
• 在高方差记录策略的场景下，稳健直接方法（DM-R）相比标准DM显著降低误差，且该优势可传递至TR估计器。
• 当记录策略已知且为均匀分布时，TR的方差低于DR，表明其具有更高的稳定性。
• DM-R与TR方法族在所有基准环境（包括Vehicle和CIFAR10）中均优于其非稳健对应方法。
• 即使记录策略通过分类模型估计，稳健回归框架仍能提升性能，凸显其实际鲁棒性。
• 理论分析证实，所提估计器的偏差与方差界得到改善，并在最坏情况协变量偏移下推导出新型极小化最大风险界。