[论文解读] Neural Network Machine Regression (NNMR): A Deep Learning Framework for Uncovering High-order Synergistic Effects

Jiuchen Zhang, Ling Zhou+1 more|arXiv (Cornell University)|Feb 2, 2026

Nutritional Studies and Diet被引用 0

一句话总结

NNMR 将可训练的输入门控和自适应深度正则化结合起来，联合执行特征选择和非线性函数估计，并在高维 setting 中通过后选择基于置换的推断程序控制第一类错误。

ABSTRACT

We propose a new neural network framework, termed Neural Network Machine Regression (NNMR), which integrates trainable input gating and adaptive depth regularization to jointly perform feature selection and function estimation in an end-to-end manner. By penalizing both gating parameters and redundant layers, NNMR yields sparse and interpretable architectures while capturing complex nonlinear relationships driven by high-order synergistic effects. We further develop a post-selection inference procedure based on split-sample, permutation-based hypothesis testing, enabling valid inference without restrictive parametric assumptions. Compared with existing methods, including Bayesian kernel machine regression and widely used post hoc attribution techniques, NNMR scales efficiently to high-dimensional feature spaces while rigorously controlling type I error. Simulation studies demonstrate its superior selection accuracy and inference reliability. Finally, an empirical application reveals sparse, biologically meaningful food group predictors associated with somatic growth among adolescents living in Mexico City.

研究动机与目标

• 在高维非线性设置中说明需要可解释、可扩展的特征选择并识别高阶协同效应的动机。
• 提出一个神经网络框架，通过输入门控和深度正则化联合选择特征并估计非线性函数。
• 开发一个结合数据拆分和置换检验的后选择推断程序，以确保选择后得到的有效 p 值。

提出的方法

• 在输入层附加一个可训练的门控向量，通过对门控进行 L1 正则化（alpha）来诱导稀疏性。
• 引入一个深度正则化惩罚，使冗余层坍塌为恒等映射，从而形成一个稀疏、可解释的体系结构。
• 训练一个神经网络 G(alpha, theta)，采用端到端目标函数，将平方误差与对 alpha 的 L1 惩罚以及对 (W_l - I) 的惩罚再加上 |c_l| 的深度惩罚结合起来。
• 使用数据拆分（D1 用于选择/估计，D2 用于推断）和基于置换的双样本残差检验来进行后选择推断，以评估条件独立性。
• 提供截断步骤（硬阈值）以在 alpha 中强制精确零，并在 W_l 较小时将其设置为 I 以剪枝层。

实验结果

研究问题

• RQ1 NNMR 是否能够在高维非线性设置中准确识别出稀疏的预测特征子集？
• RQ2 在神经网络中整合特征选择和深度正则化是否相较于现有方法能提高选择准确性和预测性能？
• RQ3 是否可以在数据驱动的特征选择后，使用基于置换的双样本残差检验进行有效推断？
• RQ4 与 BKMR 和后验归因方法相比，NNMR 在高维数据上的可扩展性表现如何？
• RQ5 该方法在真实数据应用中是否能产生可解释且有生物学意义的预测因子？

主要发现

方法	精确度	召回率	F1 分数
Proposed	0.927 (0.150)	0.880 (0.183)	0.879 (0.135)
BKMR	0.025 (0.000)	1.000 (0.000)	0.049 (0.000)
SHAP	0.780 (0.060)	0.780 (0.060)	0.780 (0.060)
DeepLIFT	0.720 (0.133)	0.720 (0.133)	0.720 (0.133)
GLNN	0.460 (0.100)	0.460 (0.100)	0.460 (0.100)
DPS	0.244 (0.083)	0.244 (0.083)	0.244 (0.083)

• 相比 BKMR、SHAP、DeepLIFT、GLNN 和 DPS，在仿真中 NNMR 在变量选择指标（精确度、召回率、F1）方面具有优越表现。
• 所提出的置换检验的后选择推断在特征选择后保持名义第一类错误率（1% 对比未选择时 13%）。
• 在仿真中，NNMR 的 F1 分数约为 0.88，_top features_ 的精确度 0.927 和召回率 0.880。
• 与 BKMR、SHAP 及其他基线相比，NNMR 在训练过程中对稀疏性与深度控制的整合更强，带来更好的可解释性和可扩展性。
• 真实数据分析（ELEMENT 项目）表明 NNMR 能识别稀疏且有意义的饮食预测因子，影响婴儿生长，对六种方法给出 AIC/时间指标（见表 3）。