[论文解读] Multilayer tensor factorization with applications to recommender systems

Xuan Bi, Annie Qu+1 more|arXiv (Cornell University)|Nov 5, 2017

Tensor decomposition and applications被引用 3

一句话总结

本文提出 REM（多层推荐引擎），一种用于上下文感知推荐系统的事先多层张量分解方法，通过嵌套潜在结构对用户、物品和上下文因素进行建模。通过引入子群依赖关系和最大块提升算法，REM 有效解决了冷启动问题，并在大规模数据上表现出色，在模拟实验和包含 11600 万个观测值的真实 IRI 市场营销数据中，性能优于现有方法。

ABSTRACT

Recommender systems have been widely adopted by electronic commerce and entertainment industries for individualized prediction and recommendation, which benefit consumers and improve business intelligence. In this article, we propose an innovative method, namely the recommendation engine of multilayers (REM), for tensor recommender systems. The proposed method utilizes the structure of a tensor response to integrate information from multiple modes, and creates an additional layer of nested latent factors to accommodate between-subjects dependency. One major advantage is that the proposed method is able to address the "cold-start" issue in the absence of information from new customers, new products or new contexts. Specifically, it provides more effective recommendations through sub-group information. To achieve scalable computation, we develop a new algorithm for the proposed method, which incorporates a maximum block improvement strategy into the cyclic blockwise-coordinate-descent algorithm. In theory, we investigate both algorithmic properties for global and local convergence, along with the asymptotic consistency of estimated parameters. Finally, the proposed method is applied in simulations and IRI marketing data with 116 million observations of product sales. Numerical studies demonstrate that the proposed method outperforms existing competitors in the literature.

研究动机与目标

• 解决推荐系统中因新用户、新物品或新上下文缺乏足够历史数据而导致的冷启动问题。
• 开发一种可扩展的、上下文感知的张量分解方法，整合用户、物品和上下文信息的多种模式。
• 通过嵌套潜在因子结构建模用户间的依赖关系，以提高对新用户或稀疏用户推荐的准确性。
• 通过循环块坐标下降框架内的新型最大块提升策略，确保算法的可扩展性和收敛性。
• 建立全局和局部收敛性以及参数估计渐近一致性的理论保证。

提出的方法

• 该方法将张量响应建模为具有嵌套潜在因子的多层结构，以捕捉用户、物品和上下文之间的层次依赖关系。
• 采用基于循环块坐标下降的非凸优化框架，并通过最大块提升策略增强可扩展性计算能力。
• 模型采用张量补全方法，利用多模态数据（如用户、物品、时间、位置）预测缺失条目。
• 使用基于 Hellinger 距离熵的分析控制模型复杂度，并推导理论收敛速率。
• 该算法可处理高阶张量（超过三阶），支持整合多个上下文变量。
• 理论分析包括全局和局部收敛性、渐近一致性以及在正则条件下最优收敛速率的证明。

实验结果

研究问题

• RQ1 通过利用子群信息，多层张量分解模型能否有效缓解推荐系统中的冷启动问题？
• RQ2 所提出的最大块提升策略在非凸张量优化中如何提升收敛性和可扩展性？
• RQ3 所提出算法的理论收敛行为如何？其参数估计是否具有渐近一致性？
• RQ4 该模型在具有高维稀疏张量结构的大规模真实世界数据上的表现如何？
• RQ5 该方法在预测准确性和鲁棒性方面能否优于现有的基于矩阵和张量的推荐系统？

主要发现

• 所提出的 REM 方法在模拟研究和包含 11600 万个观测值的真实 IRI 市场营销数据中，显著优于现有竞争方法。
• 通过利用子群信息，该方法有效缓解了冷启动问题，即使在新用户、新物品或新上下文的情况下也能实现准确推荐。
• 理论分析证实了优化算法的全局和局部收敛性，以及参数估计的渐近一致性。
• 在特定正则条件下，最优收敛速率被推导为 $ \varepsilon_{|\Omega|} \sim |\Omega|^{-1/2} $，表明具有强大的统计效率。
• 最大块提升策略增强了计算可扩展性，使大规模张量上的高效优化成为可能。
• 通过整合超越传统二模系统的多个上下文变量，该模型在高阶张量上实现了卓越性能。