[论文解读] Nonlinear Sufficient Dimension Reduction with a Stochastic Neural Network

Siqi Liang, Yan Sun+1 more|arXiv (Cornell University)|Oct 9, 2022

Neural Networks and Applications被引用 8

一句话总结

本文提出了一种用于非线性充分维数缩减（SDR）的随机神经网络框架，实现了大规模高维数据的可扩展、基于概率的分析。通过利用自适应随机梯度马尔可夫链蒙特卡洛（SG-MCMC）进行训练，该方法在分类和回归任务中实现了最先进性能，同时保持了计算效率，在可扩展性和准确性方面优于现有的基于核函数和深度学习的 SDR 方法。

ABSTRACT

Sufficient dimension reduction is a powerful tool to extract core information hidden in the high-dimensional data and has potentially many important applications in machine learning tasks. However, the existing nonlinear sufficient dimension reduction methods often lack the scalability necessary for dealing with large-scale data. We propose a new type of stochastic neural network under a rigorous probabilistic framework and show that it can be used for sufficient dimension reduction for large-scale data. The proposed stochastic neural network is trained using an adaptive stochastic gradient Markov chain Monte Carlo algorithm, whose convergence is rigorously studied in the paper as well. Through extensive experiments on real-world classification and regression problems, we show that the proposed method compares favorably with the existing state-of-the-art sufficient dimension reduction methods and is computationally more efficient for large-scale data.

研究动机与目标

• 为解决现有非线性 SDR 方法的可扩展性限制，特别是基于核函数的方法所要求的昂贵 $n \times n$ 矩阵运算。
• 开发一种基于概率原理的非线性 SDR 框架，以确保充分维数缩减空间的可识别性。
• 通过使用小批量随机优化并具备严格的收敛保证，实现在大规模数据集上的高效训练。
• 通过确保对充分缩减空间的一致估计，提升现有基于深度学习的 SDR 方法的性能和鲁棒性。

提出的方法

• 提出一种带有概率框架的随机神经网络（StoNet），用于建模非线性充分维数缩减空间。
• 采用自适应随机梯度马尔可夫链蒙特卡洛（SG-MCMC）算法进行训练，学习率和步长调度基于迭代次数 $k$。
• 使用 HMC 插补方法，其中 $t_{\text{HMC}} = 25$，$\eta = 100$ 或 $10$，具体取决于数据集，以增强后验分布的探索能力。
• 将训练分为两个阶段：使用小批量（例如，大小为 64–800）进行 ${\boldsymbol{\theta}}$-训练，以及使用全批量优化进行 SDR 阶段。
• 应用 Tanh 和 ReLU 等激活函数，并引入可学习的噪声方差 $\sigma_{n,1}^2$，$\sigma_{n,2}^2$，和 $\sigma_{n,3}^2$，以建模参数中的不确定性。
• 实施两阶段训练协议：首先联合训练网络以估计 $g(\cdot)$ 和 $\boldsymbol{B}$，然后使用全量数据进一步优化 SDR 空间。

实验结果

研究问题

• RQ1 随机神经网络框架能否在大规模数据集上实现可扩展且一致的非线性充分维数缩减？
• RQ2 所提出的自适应 SG-MCMC 算法是否能确保收敛并实现对充分缩减空间的稳定估计？
• RQ3 在真实世界数据上，该方法在性能和效率方面与基于核函数和深度学习的 SDR 方法相比如何？
• RQ4 尽管深度网络具有通用逼近能力，该方法能否在保持充分维数缩减空间可识别性方面表现良好？

主要发现

• 所提出的方法在真实世界分类和回归数据集上的预测准确性方面优于最先进 SDR 方法。
• 其计算效率显著优于基于核函数的 SDR 方法，后者由于需要对 $n \times n$ 矩阵进行特征分解而产生 $O(n^2)$ 的运算量。
• 自适应 SG-MCMC 训练方案确保了收敛性，论文中已严格分析，支持稳定的参数估计。
• 在德国和心脏病数据集上，该方法在分类准确性方面达到竞争性或更优表现，优于逻辑回归和自编码器。
• 在波形数据集的回归任务中，基于 StoNet 的 SDR 方法相比在原始特征上训练的基线神经网络，实现了更低的预测误差。
• 该方法在多种数据类型（包括多标签分类和回归）中表现出鲁棒性，且在准确性和可扩展性方面均保持一致的改进。