[论文解读] Multi-View Factorization Machines

Bokai Cao, Hucheng Zhou+2 more|arXiv (Cornell University)|Jun 3, 2015

Tensor decomposition and applications参考文献 12被引用 13

一句话总结

本文提出多视图因子分解机（MVMs），一种联合分解多个视图中全阶特征交互的模型，以提升多视图学习中的预测准确率。通过在交互项之间共享潜在因子，MVMs 在数据稀疏情况下增强了参数估计能力并减少了过拟合，在电影评分预测任务上比FMs高出3.51%的准确率，在广告点击预测任务上高出0.57%。

ABSTRACT

For a learning task, data can usually be collected from different sources or be represented from multiple views. For example, laboratory results from different medical examinations are available for disease diagnosis, and each of them can only reflect the health state of a person from a particular aspect/view. Therefore, different views provide complementary information for learning tasks. An effective integration of the multi-view information is expected to facilitate the learning performance. In this paper, we propose a general predictor, named multi-view machines (MVMs), that can effectively include all the possible interactions between features from multiple views. A joint factorization is embedded for the full-order interaction parameters which allows parameter estimation under sparsity. Moreover, MVMs can work in conjunction with different loss functions for a variety of machine learning tasks. A stochastic gradient descent method is presented to learn the MVM model. We further illustrate the advantages of MVMs through comparison with other methods for multi-view classification, including support vector machines (SVMs), support tensor machines (STMs) and factorization machines (FMs).

研究动机与目标

• 解决在推荐和广告等大规模网络应用中，建模多个数据视图之间复杂且互补的特征交互的挑战。
• 克服现有模型仅捕捉二阶交互或独立处理各视图的局限性，从而在数据稀疏情况下实现更优性能。
• 构建一个统一框架，联合分解视图间的全阶交互（最高至三阶），以提升泛化能力并减少过拟合。
• 通过灵活的损失函数设计，使模型兼容多种机器学习任务。
• 设计可扩展的分布式训练系统，基于Spark实现，以支持大规模网络应用的部署。

提出的方法

• 提出多视图机器（MVMs），一种通用预测器，用于建模来自多个视图的特征之间的全阶特征交互（最高至三阶）。
• 引入跨视图的交互参数联合分解机制，通过学习共享的潜在因子，提升在稀疏数据下的参数估计性能。
• 使用因子化交互项构建MVM模型：$ \hat{y} = \mathbf{w}_0 + \sum_{i=1}^n w_i x_i + \sum_{i<j} \langle \mathbf{v}_i, \mathbf{v}_j \rangle x_i x_j + \sum_{i<j<k} \langle \mathbf{v}_i, \mathbf{v}_j, \mathbf{v}_k \rangle x_i x_j x_k $，其中潜在向量在不同视图间共享。
• 采用带自适应学习率的随机梯度下降（SGD）进行高效优化，并在Apache Spark上实现分布式版本以支持可扩展性。
• 通过正则化（$\lambda$）和潜在维度（$k$）控制模型复杂度，防止过拟合。
• 通过插入不同的损失函数（如回归任务的平方损失，分类任务的逻辑损失）支持多种监督学习任务。

实验结果

研究问题

• RQ1 与仅建模成对交互或视图级交互的模型相比，跨多个视图联合分解全阶特征交互是否能提升多视图学习中的预测性能？
• RQ2 MVM模型如何通过共享潜在因子分解机制，在多视图设置下缓解数据稀疏性和过拟合问题？
• RQ3 在真实世界的网络应用（如电影评分预测和广告点击预测）中，引入三阶交互在多大程度上提升了模型准确率？
• RQ4 MVM在Spark上的分布式实现对大规模网络应用的可扩展性如何？
• RQ5 MVM模型对关键超参数（如潜在维度$k$和正则化强度$\lambda$）的敏感性如何？

主要发现

• 在MovieLens数据集上，MVMs在电影评分预测任务中相比标准因子分解机（FMs）实现了3.51%的准确率提升。
• 在Bing Ads数据集上，MVMs在广告点击预测任务中相比FMs提升了0.57%的预测准确率，表明在真实应用中具有持续的性能增益。
• 当潜在因子数$k = 40$时，模型性能达到峰值，此后因模型表达能力超过数据容量而引发过拟合。
• 模型对正则化强度$\lambda$具有鲁棒性，在$\lambda \leq 0.1$范围内性能保持稳定，表明对$\lambda$的中等变化不敏感。
• 在Spark上实现的分布式MVM系统随着节点数量增加，实现了接近线性的加速，表明其在大规模数据场景下具备强大的可扩展性。
• 敏感性分析表明，$k = 40$时训练损失和测试损失均最小化，验证了模型容量与泛化能力之间的权衡。