[论文解读] Semi-Structured Deep Distributional Regression: Combining Structured Additive Models and Deep Learning

David Rügamer, Chris Kolb+1 more|arXiv (Cornell University)|Feb 13, 2020

Gaussian Processes and Bayesian Inference参考文献 34被引用 10

一句话总结

本文提出了一种通用框架，通过引入正交化单元，将广义加法模型中的结构化可加预测器与深度神经网络统一起来，以解决可识别性问题。该方法实现了稳定且可解释的深度学习，具备结构化效应，已在基准测试和实际应用中展示了改进的估计效果和性能。

ABSTRACT

Combining additive models and neural networks allows to broaden the scope of statistical regression and extends deep learning-based approaches by interpretable structured additive predictors at the same time. Existing approaches uniting the two modeling approaches are, however, limited to very specific combinations and, more importantly, involve an identifiability issue. As a consequence, interpretability and stable estimation is typically lost. We propose a general framework to combine structured regression models and deep neural networks into a unifying network architecture. To overcome the inherent identifiability issues between different model parts, we construct an orthogonalization cell that projects the deep neural network into the orthogonal complement of the statistical model predictor. This enables proper estimation of structured model parts and thereby interpretability. We demonstrate the framework's efficacy in numerical experiments and illustrate its special merits in benchmarks and real-world applications.

研究动机与目标

• 为解决现有通用框架在结合结构化可加模型与深度神经网络时，无法同时保持可解释性和估计稳定性的不足。
• 解决在将深度学习组件与结构化模型预测器整合时常见的可识别性问题。
• 开发一种统一的网络架构，支持深度学习表征与结构化可加效应的联合估计。
• 确保深度神经网络的贡献不会混淆模型中可解释的结构化效应的估计。
• 通过数值实验和实际应用，证明该框架的实际效用。

提出的方法

• 引入正交化单元，将深度神经网络的输出投影到结构化可加预测器分量所张成空间的正交补空间中。
• 利用该投影将深度神经网络与结构化模型部分解耦，从而消除可识别性问题。
• 将正交化后的网络输出作为整体回归模型中的独立分量，确保结构化效应在估计时不被神经网络所干扰。
• 在训练统一架构时采用标准优化技术，正交化单元在反向传播过程中作为可微模块运行。
• 在保持深度神经网络灵活性的同时，通过显式分解模型贡献，保留结构化可加模型的可解释性。
• 在统一框架内支持多种类型的结构化效应（例如样条、因子效应、交互作用）。

实验结果

研究问题

• RQ1 能否开发一种通用框架，将结构化可加模型与深度神经网络结合，同时不损害可解释性或估计稳定性？
• RQ2 如何以可微且可扩展的方式，正式解决深度神经网络组件与结构化模型预测器之间的可识别性问题？
• RQ3 所提出的正交化单元在多大程度上提升了联合模型中结构化效应的估计精度和可解释性？
• RQ4 在预测性能和模型可解释性方面，该框架与现有混合模型相比表现如何？
• RQ5 该框架能否在真实世界数据集中有效应用，同时保持高预测准确率和对模型分量的有意义解释？

主要发现

• 所提出的框架通过正交化方法，成功解决了深度神经网络与结构化可加预测器之间的可识别性问题。
• 正交化单元即使在与复杂深度学习架构结合时，也能实现结构化模型分量的稳定且无偏估计。
• 数值实验表明，该方法在预测性能方面与基线混合模型相当或更优。
• 该框架可清晰解释单个效应（如平滑项、因子效应），且不受神经网络表征的干扰。
• 基准测试结果表明，该方法在合成数据和真实世界应用中均表现出色，支持其实际效用。
• 该方法可在单一统一的深度学习架构中支持广泛的结构化效应。