[论文解读] Scalable Realistic Recommendation Datasets through Fractal Expansions

Francois Belletti, Karthik Lakshmanan+3 more|arXiv (Cornell University)|Jan 23, 2019

Recommender Systems and Techniques参考文献 52被引用 16

一句话总结

本文提出一种基于柯列斯基图理论的分形扩展技术，通过小规模公开数据集生成大规模、真实感强的合成推荐数据集，同时保持用户参与度、物品受欢迎程度及奇异值谱等关键统计特性。该方法将MovieLens 20M数据集扩展至100亿条评分（200万用户，86.4万物品），最高可达6550亿条评分（1700万用户，700万物品），实现无隐私风险的工业级基准测试。

ABSTRACT

Recommender System research suffers currently from a disconnect between the size of academic data sets and the scale of industrial production systems. In order to bridge that gap we propose to generate more massive user/item interaction data sets by expanding pre-existing public data sets. User/item incidence matrices record interactions between users and items on a given platform as a large sparse matrix whose rows correspond to users and whose columns correspond to items. Our technique expands such matrices to larger numbers of rows (users), columns (items) and non zero values (interactions) while preserving key higher order statistical properties. We adapt the Kronecker Graph Theory to user/item incidence matrices and show that the corresponding fractal expansions preserve the fat-tailed distributions of user engagements, item popularity and singular value spectra of user/item interaction matrices. Preserving such properties is key to building large realistic synthetic data sets which in turn can be employed reliably to benchmark Recommender Systems and the systems employed to train them. We provide algorithms to produce such expansions and apply them to the MovieLens 20 million data set comprising 20 million ratings of 27K movies by 138K users. The resulting expanded data set has 10 billion ratings, 864K items and 2 million users in its smaller version and can be scaled up or down. A larger version features 655 billion ratings, 7 million items and 17 million users.

研究动机与目标

• 弥合小规模学术推荐数据集与工业生产系统大规模需求之间的差距。
• 在数据扩展过程中保持关键的高阶统计特性，如重尾用户参与度、物品受欢迎程度及奇异值谱。
• 生成具有真实感的合成用户-物品交互数据，反映大规模协同过滤的实际挑战。
• 实现矩阵分解与基于相似度的推荐模型在接近工业系统规模数据上的可复现基准测试。
• 提供一种可扩展、隐私保护的替代方案，通过公开的小规模数据生成合成数据，替代敏感的专有用户数据发布。

提出的方法

• 将柯列斯基图理论适配至用户-物品关联矩阵，通过建模交互矩阵为自相似结构，实现分形扩展。
• 采用基于柯列斯基积的扩展方法，在用户、物品及交互维度上扩展原始稀疏矩阵，同时保持统计不变性。
• 修改标准柯列斯基生成流程，以处理稀疏且非均匀分布的用户-物品交互，确保行和列和的合理扩展。
• 在扩展后的矩阵中引入块的随机洗牌，打破人工的块状重复结构，防止矩阵分解中的平凡解。
• 以原始矩阵的奇异值分解（SVD）为基础，保留对矩阵分解难度至关重要的谱特性。
• 通过递归应用柯列斯基积进行迭代扩展，使数据集规模达到原始数据的数个数量级（例如，从100亿扩展至6550亿条评分）。

实验结果

研究问题

• RQ1 分形扩展技术能否在大规模合成推荐数据集中保持用户参与度与物品受欢迎度的重尾分布？
• RQ2 基于柯列斯基的扩展在多大程度上能保持原始用户-物品交互矩阵的奇异值谱，从而确保矩阵分解难度相当？
• RQ3 合成数据在多大程度上复现了真实世界中的统计异常，如行和列和的排序后加速衰减？
• RQ4 扩展后的数据集能否可靠地用于工业规模线性和非线性协同过滤模型的基准测试，且不损害用户隐私？
• RQ5 基于柯列斯基的扩展存在哪些局限性，特别是评分尺度粒度细化及矩阵中结构重复的问题？

主要发现

• 分形扩展成功将MovieLens 20M数据集扩展至100亿条评分（200万用户，86.4万物品），最高达6550亿条评分（1700万用户，700万物品），达到工业级规模。
• 扩展后的数据集保持了用户参与度与物品受欢迎度的重尾分布，与原始数据的统计特征高度一致。
• 扩展矩阵的奇异值谱保持准幂律分布，且与原始数据高度吻合，确保矩阵分解任务的难度相当。
• 合成数据集表现出真实世界中的异常特征，如行方向与列方向和的排序后加速衰减，与真实数据模式一致。
• 尽管柯列斯基乘法导致评分尺度变得更精细，但大多数评分仍接近平均值，保持了中性交互的现实感，避免极端值主导。
• 对矩阵块进行随机洗牌能有效打破块状重复结构，防止柯列斯基SVD中的平凡解，提升模型鲁棒性。