[论文解读] Reinforcement Learning for Uplift Modeling

Chenchen Li, Xiang Yan+7 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Causal Inference Techniques参考文献 20被引用 6

一句话总结

该论文提出RLift，一种用于提升建模的深度强化学习框架，将问题形式化为马尔可夫决策过程（MDP），实现无需显式提升标签的端到端学习。它引入了一种无偏、通用的评估指标（SN-UMG），适用于多种动作和响应类型，在合成数据、公开数据和真实世界数据集上均达到最先进性能，显著优于SMA-RF和OT-RF等基线方法。

ABSTRACT

Uplift modeling aims to directly model the incremental impact of a treatment on an individual response. In this work, we address the problem from a new angle and reformulate it as a Markov Decision Process (MDP). We conducted extensive experiments on both a synthetic dataset and real-world scenarios, and showed that our method can achieve significant improvement over previous methods.

研究动机与目标

• 为具有多种动作和多样化响应类型（二值、离散、连续）的提升建模，解决缺乏通用且无偏评估指标的问题。
• 通过将提升建模形式化为马尔可夫决策过程（MDP），克服因缺少显式提升响应标签带来的挑战。
• 在不依赖监督标签或人工特征工程的前提下，实现端到端的表征学习与策略优化。
• 在低数据量和高复杂度场景下提升性能，尤其在传统方法因标签稀疏性或分布偏移而失效的情况下。
• 证明深度强化学习在提升建模设置中优于现有方法，包括类似Offset Tree的上下文Bandit方法。

提出的方法

• 将提升建模重新表述为马尔可夫决策过程（MDP），其中智能体学习一种策略，以选择能最大化期望提升响应的动作。
• 采用神经化策略梯度方法，直接从离线数据中学习动作策略，仅使用正/负奖励引导学习过程。
• 提出一种新颖的评估指标SN-UMG，源自逆倾向得分，已被证明是对一般响应类型的提升响应的无偏估计量。
• 应用与动作相关的基线以降低策略优化过程中的梯度方差，提升训练稳定性和收敛性。
• 仅使用可观测的动作响应和自然响应（无需显式提升标签），使方法可应用于真实场景中标签数据有限的情况。
• 利用深度神经网络从原始特征中自动学习复杂且非线性的表征，避免人工特征工程。

实验结果

研究问题

• RQ1 能否为具有多种动作和任意响应类型的提升建模开发一种通用且无偏的评估指标？
• RQ2 强化学习是否能在缺乏个体提升效应显式标签的情况下，有效建模提升响应？
• RQ3 所提出的深度强化学习框架（RLift）与监督基线方法（如SMA-RF和SMA-NN）相比，在性能和鲁棒性方面表现如何？
• RQ4 该方法在数据稀疏性和复杂响应-特征关系下是否仍保持强性能？
• RQ5 当重新解释为提升建模策略时，RLift与上下文Bandit方法（如Offset Tree）相比表现如何？

主要发现

• 在合成数据集上，RLift的SN-UMG得分为0.1397，显著优于次佳基线方法（Optimal: 0.1467），表现出接近最优的性能。
• 在正样本稀疏的真实业务数据集上，RLift对响应$r_1$的SN-UMG得分为0.03024，对$r_2$为0.00842，优于SMA-RF（0.00287和0.000252）和SMA-NN（0.00329和0.000793）。
• 在加权响应组合的多目标实验中，RLift在(0.4, 0.6)权重设置下达到最高SN-UMG得分0.01871，超越所有基线方法。
• 所提出的SN-UMG指标在多折合成实验中表现出稳定的收敛性和低方差，验证了其作为无偏估计量的可靠性。
• 当被解释为提升策略时，RLift在性能上优于Offset Tree方法（一种上下文Bandit基线），证实了上下文Bandit与提升目标之间在理论上存在本质区别。
• 该方法在响应分布与动作响应分布显著不同的高复杂度场景中表现出鲁棒性，而传统SMA方法在此类场景中会失效。