[论文解读] Neural Collaborative Autoencoder

Qibing Li, Xiaolin Zheng+1 more|arXiv (Cornell University)|Dec 25, 2017

Recommender Systems and Techniques被引用 6

一句话总结

该论文提出神经协同自编码器（NCAE），一种用于协同过滤的深度学习框架，能够有效处理显式和隐式反馈。通过采用三阶段预训练策略、误差重加权以及稀疏性感知的数据增强，NCAE 在真实世界数据集上实现了最先进性能，在稀疏训练条件下，其在 top-50 推荐指标上相比强基线模型（如 NCF 和 eALS）最高提升达 66.3%。

ABSTRACT

In recent years, deep neural networks have yielded state-of-the-art performance on several tasks. Although some recent works have focused on combining deep learning with recommendation, we highlight three issues of existing models. First, these models cannot work on both explicit and implicit feedback, since the network structures are specially designed for one particular case. Second, due to the difficulty on training deep neural networks, existing explicit models do not fully exploit the expressive potential of deep learning. Third, neural network models are easier to overfit on the implicit setting than shallow models. To tackle these issues, we present a generic recommender framework called Neural Collaborative Autoencoder (NCAE) to perform collaborative filtering, which works well for both explicit feedback and implicit feedback. NCAE can effectively capture the subtle hidden relationships between interactions via a non-linear matrix factorization process. To optimize the deep architecture of NCAE, we develop a three-stage pre-training mechanism that combines supervised and unsupervised feature learning. Moreover, to prevent overfitting on the implicit setting, we propose an error reweighting module and a sparsity-aware data-augmentation strategy. Extensive experiments on three real-world datasets demonstrate that NCAE can significantly advance the state-of-the-art.

研究动机与目标

• 为解决现有深度学习模型在协同过滤中的局限性，特别是其在有效处理显式和隐式反馈方面的不足。
• 克服由于数据稀疏性和过拟合导致的深度网络在推荐系统中训练困难的问题，尤其是在隐式反馈设置下。
• 开发一种可扩展且鲁棒的架构，通过基于自编码器的非线性矩阵分解捕捉非线性用户-物品关系。
• 通过引入新颖的预训练、误差重加权和数据增强策略，提升在稀疏数据上的泛化能力和性能。

提出的方法

• NCAE 采用深度自编码器架构，通过非线性矩阵分解在用户/物品层面而非交互层面重建用户或物品偏好向量，以实现可扩展性。
• 三阶段预训练机制将第一层的监督预训练与深层的无监督预训练相结合，以稳定训练并改善表征学习。
• 误差重加权模块将所有未观测交互视为负样本反馈，从而增强在隐式反馈学习中的模型鲁棒性。
• 稀疏性感知的数据增强策略在训练过程中引入合成的物品相关性模式，以提升排序性能并减少过拟合。
• 模型使用稀疏前向和反向传播模块（通过 TensorFlow 操作实现），以高效处理稀疏用户和物品向量，支持在大规模数据集上快速批量训练。
• 设计了一种专为稀疏输入向量定制的新型损失函数，以提升训练稳定性和性能。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效处理协同过滤中的显式和隐式反馈？
• RQ2 如何在推荐系统中有效预训练深度神经网络，以克服训练不稳定性与收敛性差的问题？
• RQ3 在负样本未被观测且高度非线性模型易发生记忆化的隐式反馈设置下，哪些策略可有效缓解过拟合？
• RQ4 所提出的架构在大规模稀疏数据集上如何实现可扩展性，同时保持高性能？
• RQ5 在数据稀疏条件下，预训练、误差重加权和数据增强在多大程度上提升了推荐准确率和鲁棒性？

主要发现

• 当训练数据稀疏度仅为全集的 40% 时，NCAE+ 在 HR@50 上相比 eALS 和 NCF 最高提升 66.3%，在 NDCG@100 上提升 50.0%。
• 在 Last.fm 数据集上，NCAE+ 在 40% 训练数据下达到 HR@50 为 0.123，优于 eALS 在 80% 数据下的表现和 NCF 在 60% 数据下的表现。
• NCAE 展现出强大的可扩展性，ML-10M 数据集上每轮训练时间随隐藏维度 K 几乎线性增长，60 轮内收敛仅需每轮 6.3 秒。
• 随着数据稀疏性增加，模型性能显著提升，表明其在低数据场景下相比基线模型具有更强的鲁棒性。
• 三阶段预训练机制使更深架构能获得更好性能，尤其在显式反馈场景下，通过有效初始化深层表征实现。
• 稀疏性感知的数据增强策略通过在推理过程中发现更优的正样本位置，提升了排序质量。