[论文解读] Neural Mixture Distributional Regression

David Rügamer, Florian Pfisterer+1 more|arXiv (Cornell University)|Oct 14, 2020

Bayesian Methods and Mixture Models参考文献 32被引用 4

一句话总结

本文提出了神经混合分布回归（NMDR），一种基于深度学习的框架，用于使用灵活的加法预测器估计复杂有限混合的参数化分布回归模型。通过利用深度学习中的优化技术，NMDR 实现了高维混合模型的可扩展、无假设估计，涵盖多种分布，且在合成数据和真实世界应用中均达到最先进性能，包括一个包含18个贝塔分量和文本嵌入的电影评分预测任务。

ABSTRACT

We present neural mixture distributional regression (NMDR), a holistic framework to estimate complex finite mixtures of distributional regressions defined by flexible additive predictors. Our framework is able to handle a large number of mixtures of potentially different distributions in high-dimensional settings, allows for efficient and scalable optimization and can be applied to recent concepts that combine structured regression models with deep neural networks. While many existing approaches for mixture models address challenges in optimization of such and provide results for convergence under specific model assumptions, our approach is assumption-free and instead makes use of optimizers well-established in deep learning. Through extensive numerical experiments and a high-dimensional deep learning application we provide evidence that the proposed approach is competitive to existing approaches and works well in more complex scenarios.

研究动机与目标

• 解决传统混合模型估计的局限性，特别是在具有复杂、非凸似然函数的高维设置下。
• 开发一种可扩展、优化友好的框架，用于估计有限混合的参数化分布回归模型，且无需严格的模型假设。
• 将结构化加法预测器与深度神经网络结合，以增强混合回归建模中的灵活性和可解释性。
• 在复杂、高维的真实世界数据上展示所提框架的有效性，例如结合文本和协变量特征的电影评分数据。

提出的方法

• NMDR 建模一组参数化分布（如贝塔分布、正态分布）的混合，其中每个分量的参数通过灵活的加法预测器进行预测。
• 该框架使用深度神经网络来建模分布参数（如形状参数 c₀, c₁）和混合权重 π 的线性预测器，从而实现高维、非线性关系的建模。
• 通过使用深度学习优化器（如 Adam、AdaDelta）进行端到端反向传播，联合估计混合分量的参数和权重，避免依赖 EM 或 MCMC 方法。
• 将结构化加法效应（如平滑项 s_j）与深度神经网络组件分离，以确保平滑效应的可识别性和可解释性。
• 通过一个300维的嵌入层对文本特征进行编码，随后通过全连接层预测分布参数或混合权重，从而实现文本与表格协变量的联合建模。
• 模型使用固定批量大小为256的随机小批量优化进行训练，并通过重复的训练-测试划分进行评估，以均方根误差（RMSE）为主要指标。

实验结果

研究问题

• RQ1 基于深度学习的优化框架是否能有效估计复杂有限混合的分布回归模型，且无需强参数假设？
• RQ2 将深度神经网络与结构化加法预测器结合，如何提升高维设置下建模的灵活性和预测性能？
• RQ3 从电影描述中学习到的文本嵌入在多大程度上改善了混合分量概率和分布参数的估计？
• RQ4 不同的架构选择（如全连接层中的单元数量、嵌入的路由方式）如何影响混合建模中的模型性能和稳定性？

主要发现

• 模型（V）使用单神经元全连接层预测观测特定的混合权重 π，其在10次训练-测试划分中的平均 RMSE 为 0.117（标准差 0.026），优于所有其他配置。
• 采用深度神经网络建模分布参数或混合权重的模型在估计的混合概率上表现出更大的变异性，部分模型产生单峰 π 分布，另一些则表现出多峰支持。
• 引入深度神经网络后，结构化加法组件更倾向于选择恒定或线性效应而非平滑效应，表明灵活性与可识别性之间存在权衡。
• 模型（V）中学习到的嵌入空间的 t-SNE 可视化显示，最常见的50个词呈现出有意义的聚类，表明语义表征学习有效。
• 模型（I）作为无神经网络的基线模型，平均 RMSE 为 0.242，表明集成深度学习显著提升了预测准确性。
• 模型（IV）使用36个单元的全连接层同时预测形状参数，其平均 RMSE 为 0.321，表明该架构设计对本任务不理想。