[论文解读] Regret Guarantees for Item-Item Collaborative Filtering

Guy Bresler, Devavrat Shah+1 more|arXiv (Cornell University)|Jul 20, 2015

Advanced Bandit Algorithms Research参考文献 7被引用 3

一句话总结

本文提出了一种推荐系统中在线二值矩阵补全的理论框架，分析了一种项目-项目协同过滤算法，该算法在冷启动性能方面实现了改进的后悔保证。证明了该算法的冷启动时间为 $\widetilde{\mathcal{O}}(1/\nu)$，其中 $\nu$ 是任意用户喜欢的项目最小比例，显著优于用户-用户方法在早期推荐准确率方面的表现。

ABSTRACT

There is much empirical evidence that item-item collaborative filtering works well in practice. Motivated to understand this, we provide a framework to design and analyze various recommendation algorithms. The setup amounts to online binary matrix completion, where at each time a random user requests a recommendation and the algorithm chooses an entry to reveal in the user's row. The goal is to minimize regret, or equivalently to maximize the number of +1 entries revealed at any time. We analyze an item-item collaborative filtering algorithm that can achieve fundamentally better performance compared to user-user collaborative filtering. The algorithm achieves good "cold-start" performance (appropriately defined) by quickly making good recommendations to new users about whom there is little information.

研究动机与目标

• 为项目-项目协同过滤提供理论基础，其在实践中表现优于用户-用户方法。
• 将在线推荐建模为在用户-项目反馈约束下进行后悔最小化的二值矩阵补全问题。
• 量化并改进冷启动性能，即在极少先验数据下实现对新用户可靠推荐所需的时间。
• 建立反映现实世界性能的后悔边界，特别是在稀疏、高维推荐场景下。
• 证明在相同假设下，项目-项目 CF 可实现根本上优于用户-用户 CF 的后悔保证。

提出的方法

• 该算法在在线设置下运行，每个时间步随机一个用户请求推荐，系统根据先前的反馈选择一个项目进行推荐。
• 通过维护一组先前推荐过的项目，利用项目-项目相似性，推荐与当前用户喜欢的项目相似的项目。
• 利用用户偏好分布 $\mu$ 的加倍维数概念，以限制给定相似性半径内的项目数量。
• 使用切尔诺夫不等式进行概率分析，基于观测到的用户-项目偏好估计正确推荐的可能性。
• 该算法确保每个项目对每位用户最多被推荐一次，并从 $\{-1,+1\}^N$ 上的独立同分布 $\mu$ 中动态选择新项目。
• 定义并分析冷启动时间为首次之后，期望后悔斜率降至每条推荐低于 0.1 的时间点。

实验结果

研究问题

• RQ1 在在线二值矩阵补全中，项目-项目协同过滤能否在理论上获得后悔保证？
• RQ2 在可靠推荐所需时间方面，项目-项目 CF 的冷启动性能与用户-用户 CF 相比如何？
• RQ3 用户偏好分布的加倍维数在决定算法性能方面起什么作用？
• RQ4 在关于新用户信息极少的情况下，该算法能否实现次线性后悔？
• RQ5 每个用户喜欢的项目比例 $\nu$ 如何影响冷启动时间和总体后悔？

主要发现

• 所提出的项目-项目协同过滤算法实现了 $\widetilde{\mathcal{O}}(1/\nu)$ 的冷启动时间，其中 $\nu$ 是任意用户喜欢的项目最小比例。
• 该冷启动时间从根本上优于用户-用户协同过滤方法，后者通常需要显著更多的数据才能达到类似性能。
• 后悔边界通过用户偏好分布 $\mu$ 的加倍维数 $d$ 推导得出，该参数控制了度量空间中相似项目的聚集程度。
• 该算法确保在给定项目半径 $r$ 内的项目数量被限制为 $m_{c_j} \left(\frac{4r + 5\varepsilon}{4\varepsilon}\right)^d$，其中 $m_{c_j}$ 是位于项目中心半径 $\varepsilon$ 内的项目数量。
• 在 Jester 和 MovieLens 数据集上的经验估计表明，加倍维数在实际中较小，支持该算法的可扩展性和实际适用性。
• 切尔诺夫不等式被严格用于控制观测到的一致率与真实相似度之间的偏差，从而在推荐准确率上实现高概率保证。