[论文解读] VCNet and Functional Targeted Regularization For Learning Causal Effects of Continuous Treatments

Lizhen Nie, Mao Ye+2 more|arXiv (Cornell University)|Mar 14, 2021

Statistical Methods and Inference参考文献 40被引用 15

一句话总结

该论文提出VCNet，一种新型神经网络架构，通过使层权重随治疗水平平滑变化来建模连续治疗，确保平均剂量反应函数（ADRF）估计的连续性。此外，提出功能性目标正则化以构建双重稳健估计器，提升有限样本性能；两者结合在合成数据集和真实世界数据集上实现最先进性能。

ABSTRACT

Motivated by the rising abundance of observational data with continuous treatments, we investigate the problem of estimating the average dose-response curve (ADRF). Available parametric methods are limited in their model space, and previous attempts in leveraging neural network to enhance model expressiveness relied on partitioning continuous treatment into blocks and using separate heads for each block; this however produces in practice discontinuous ADRFs. Therefore, the question of how to adapt the structure and training of neural network to estimate ADRFs remains open. This paper makes two important contributions. First, we propose a novel varying coefficient neural network (VCNet) that improves model expressiveness while preserving continuity of the estimated ADRF. Second, to improve finite sample performance, we generalize targeted regularization to obtain a doubly robust estimator of the whole ADRF curve.

研究动机与目标

• 为解决从具有连续治疗的观察数据中估计平均剂量反应函数（ADRF）的挑战，同时保持估计曲线的连续性。
• 克服现有神经网络方法因分块治疗划分导致ADRF估计不连续的局限性。
• 通过设计治疗相关权重随治疗水平连续变化的网络结构，提升模型表达能力并保留治疗信息。
• 将目标正则化推广至功能性估计，实现对整个ADRF曲线的双重稳健估计，同时控制模型复杂度。
• 通过联合使用VCNet与功能性目标正则化，在合成数据集和半合成数据集上实现卓越的实证性能。

提出的方法

• 提出VCNet，一种变系数神经网络，其中最终预测头的权重被参数化为治疗变量的连续函数，确保ADRF估计的平滑与连续。
• 使用连续激活函数和治疗相关权重模块，即使在高维协变量下也能确保输出ADRF的连续性。
• 通过引入B样条平滑并基于样本量控制正则化强度，将目标正则化推广至功能性估计，平衡模型复杂度与鲁棒性。
• 通过结合结果模型与倾向得分模型，并采用基于扰动的正则化方案，构建ADRF曲线的双重稳健估计器，确保在弱正则性条件下的一致性。
• 采用可调节点数的B样条基函数来建模目标正则化中的扰动函数，确保平滑性，并对无限维函数空间实现有限维控制。
• 将该方法应用于合成数据集与半合成数据集，使用800个训练周期，并在多种超参数配置下进行调优，以确保稳健评估。

实验结果

研究问题

• RQ1 能否设计一种神经网络架构，在治疗被划分的情况下仍能估计连续ADRF而不引入不连续性？
• RQ2 如何将目标正则化从标量估计推广至功能性估计，以提升ADRF估计的有限样本性能？
• RQ3 能否利用神经网络与功能性正则化构建ADRF曲线的双重稳健估计器？
• RQ4 将VCNet与功能性目标正则化联合使用是否能在多样化数据集上持续优于现有基线方法？
• RQ5 当仅部分协变量与治疗或结果相关时，该方法在高维混杂与噪声协变量下的表现如何？

主要发现

• VCNet生成连续的ADRF估计，如图1所示的视觉对比显示，红色曲线（VCNet）平滑，而蓝色曲线（DRNet）不连续。
• VCNet与功能性目标正则化的结合在合成数据集、IHDP和News数据集上始终表现最优，优于Causal Forest、BART和GPS基线方法。
• 性能对超参数选择具有鲁棒性，对正则化参数α的敏感性极低，表明优化过程稳定。
• 所提出的功能性目标正则化在弱正则性假设下可实现ADRF的一致且双重稳健估计，模型复杂度通过平滑与样本量相关的正则化强度加以控制。
• 该方法首次将TMLE推广至功能性估计，为整个因果曲线的双重稳健估计提供了新框架。
• 在IHDP与News数据集上的实证结果表明，联合使用VCNet与目标正则化方法在均方误差与曲线保真度方面均有显著提升。