[论文解读] Polynomial Networks and Factorization Machines: New Insights and Efficient Training Algorithms

Mathieu Blondel, Masakazu Ishihata+2 more|arXiv (Cornell University)|Jul 29, 2016

Tensor decomposition and applications被引用 37

一句话总结

本文通过低秩对称张量估计框架，统一了多项式网络（PNs）与因子分解机（FMs），并提出了高效的多凸优化算法以训练这两种模型。证明了任意阶FMs的目标函数为多凸，并提出了一种提升优化方法，实现了高阶PNs与FMs的稳定、可扩展训练，且具有收敛性保证。

ABSTRACT

Polynomial networks and factorization machines are two recently-proposed models that can efficiently use feature interactions in classification and regression tasks. In this paper, we revisit both models from a unified perspective. Based on this new view, we study the properties of both models and propose new efficient training algorithms. Key to our approach is to cast parameter learning as a low-rank symmetric tensor estimation problem, which we solve by multi-convex optimization. We demonstrate our approach on regression and recommender system tasks.

研究动机与目标

• 基于核函数与张量估计，将多项式网络（PNs）与因子分解机器（FMs）统一于同一理论框架下。
• 通过将参数学习重新表述为低秩对称张量估计问题，解决PN训练中的非凸性问题。
• 证明任意阶FMs的目标函数为多凸，从而实现更稳定的优化。
• 为PNs与FMs开发高效、可扩展的训练算法——特别是适用于任意交互阶次的坐标下降求解器。
• 在回归与推荐系统任务上对所提方法进行实证评估，验证其性能优越性与鲁棒性。

提出的方法

• 将参数学习建模为低秩对称张量估计问题，其中模型参数表示为来自分解矩阵的低秩张量。
• 使用对称化技巧将非凸目标函数转化为多凸形式，确保优化过程中的收敛性。
• 通过ANOVA核（K=𝒜ᵐ）与齐次多项式核（K=𝓗ᵐ）构建预测函数，分别恢复FMs与PNs。
• 提出一种提升优化方法，通过估计m个大小为d×r的矩阵（其中r=k/m），确保模型大小与直接方法一致。
• 推导出适用于三阶FMs的坐标下降（CD）求解器，此前该方法尚未被提出。
• 利用核技巧隐式映射特征，避免显式展开单项式特征，同时保持交互建模能力。

实验结果

研究问题

• RQ1 多项式网络与因子分解机能否基于核函数与张量估计，在单一优化框架下实现统一？
• RQ2 任意阶因子分解机的目标函数是否为多凸？这对优化稳定性有何影响？
• RQ3 提升优化方法能否将高阶多项式网络的非凸训练转化为具有收敛性保证的多凸问题？
• RQ4 在二值特征与连续特征数据上，ANOVA核与齐次多项式核的性能表现如何比较？
• RQ5 将λ向量固定为1会对模型容量与预测行为产生何种影响，特别是在符号灵活性方面？

主要发现

• 证明了任意阶因子分解机的目标函数为多凸，从而支持稳定且收敛的优化。
• 所提出的提升优化方法通过低秩对称张量估计与对称化，将多项式网络的非凸训练转化为多凸问题。
• 对于ANOVA核（𝒜²），固定𝝀=𝟏会导致严格上三角权重矩阵，该矩阵非半正定，从而提升模型灵活性。
• 实证结果表明，在二值特征任务（如推荐系统）中，ANOVA核（𝒜ᵐ）优于齐次多项式核（𝓗ᵐ）；而在连续特征回归任务中，𝓗ᵐ表现更优。
• 所提出的三阶FMs坐标下降求解器在非线性回归与推荐系统基准测试中达到最先进性能。
• 通过设定r=k/m，提升方法确保了与直接方法的模型大小一致，从而在参数效率方面实现公平比较。