[论文解读] PANDA: AdaPtive Noisy Data Augmentation for Regularization of Undirected Graphical Models

Yinan Li, Xiao Liu+1 more|arXiv (Cornell University)|Oct 11, 2018

Statistical Methods and Inference参考文献 55被引用 5

一句话总结

该论文提出PANDA，一种新颖的自适应噪声数据增强技术，通过迭代优化噪声增强的目标函数来正则化无向图模型。PANDA在实现Lasso、Ridge、Elastic Net和组Lasso等多种正则化效果的同时，通过推导出的抽样分布，实现了对正则化参数的有效渐近推断。

ABSTRACT

We propose an AdaPtive Noise Augmentation (PANDA) technique to regularize the estimation and construction of undirected graphical models. PANDA iteratively optimizes the objective function given the noise augmented data until convergence to achieve regularization on model parameters. The augmented noises can be designed to achieve various regularization effects on graph estimation, such as the bridge (including lasso and ridge), elastic net, adaptive lasso, and SCAD penalization; it also realizes the group lasso and fused ridge. We examine the tail bound of the noise-augmented loss function and establish that the noise-augmented loss function and its minimizer converge almost surely to the expected penalized loss function and its minimizer, respectively. We derive the asymptotic distributions for the regularized parameters through PANDA in generalized linear models, based on which, inferences for the parameters can be obtained simultaneously with variable selection. We show the non-inferior performance of PANDA in constructing graphs of different types in simulation studies and apply PANDA to an autism spectrum disorder data to construct a mixed-node graph. We also show that the inferences based on the asymptotic distribution of regularized parameter estimates via PANDA achieve nominal or near-nominal coverage and are far more efficient, compared to some existing post-selection procedures. Computationally, PANDA can be easily programmed in software that implements (GLMs) without resorting to complicated optimization techniques.

研究动机与目标

• 开发一种用于无向图模型（UGMs）的正则化方法，实现变量选择与有效统计推断的双重目标。
• 解决高维UGMs中因模型不确定性导致传统方法失效的后选择推断挑战。
• 设计一种噪声增强方案，使其在迭代优化过程中自适应地根据参数估计值调整，实现多种正则化效果。
• 为正则化参数估计提供收敛性与渐近正态性的理论保证。
• 为广义线性模型（GLMs）中的UGM构建提供一种计算简便的替代方案，避免复杂优化算法。

提出的方法

• PANDA通过迭代优化一个噪声增强的损失函数，其中在每次迭代中以参数自适应的方式向数据中注入加性噪声。
• 通过基于当前参数估计值调节噪声方差，设计噪声分布以诱导特定的正则化惩罚项，如桥接、Elastic Net、自适应Lasso和SCAD。
• 该方法利用噪声注入与惩罚似然估计之间的等价性，其中噪声方差与当前参数绝对值的倒数成正比。
• 通过损失函数的二阶泰勒展开和Slutsky定理，推导出正则化参数估计的渐近正态性。
• 使用增强的Fisher信息矩阵来估计标准误，从而支持有效的置信区间和假设检验。
• 对于有限次迭代，通过结合组内与组间方差分量，考虑多个估计值之间的变异性。

实验结果

研究问题

• RQ1 是否可以系统性地设计数据增强中的噪声注入，以在无向图模型中诱导多种正则化惩罚？
• RQ2 对噪声增强目标函数的迭代优化是否收敛至与惩罚似然估计器等价的解？
• RQ3 即使在变量选择之后，是否仍能为通过噪声增强估计的正则化参数推导出有效的渐近推断？
• RQ4 与现有后选择推断方法相比，PANDA在覆盖率和效率方面表现如何？
• RQ5 PANDA是否可在标准GLM软件中高效实现，而无需依赖专用优化算法？

主要发现

• 在弱正则性条件下，PANDA的噪声增强损失函数及其最小化器分别以概率几乎处处收敛至期望的惩罚损失函数及其最小化器。
• 推导出PANDA正则化参数估计的渐近分布，并证明其与真实模型下的理论抽样分布一致。
• 基于PANDA的推断在置信区间上实现了名义或接近名义的覆盖率，显著优于现有后选择推断方法的效率。
• 模拟研究显示，PANDA在各种图结构（如稀疏图、无标度图、小世界图）下，于边恢复与结构估计方面表现非劣效。
• PANDA成功从自闭症谱系障碍（ASD）数据中构建了包含连续与二值变量的混合节点图，实现了适当的正则化。
• 该方法计算高效，可在标准GLM软件中实现，无需复杂优化算法或自定义求解器。