[论文解读] Saec: Similarity-Aware Embedding Compression in Recommendation Systems

Xiaorui Wu, Hong Xu+3 more|arXiv (Cornell University)|Feb 26, 2019

Recommender Systems and Techniques参考文献 18被引用 4

一句话总结

Saec 提出了一种相似性感知、字段感知的嵌入压缩方法，用于推荐系统。该方法通过 k-means 聚类高频率特征，并将低频特征分配给最近的质心，实现了约 27 倍的有效压缩，且在腾讯 QQ 移动浏览器的真实生产数据上，AUC 和对数损失指标均无性能下降。

ABSTRACT

Production recommendation systems rely on embedding methods to represent various features. An impeding challenge in practice is that the large embedding matrix incurs substantial memory footprint in serving as the number of features grows over time. We propose a similarity-aware embedding matrix compression method called Saec to address this challenge. Saec clusters similar features within a field to reduce the embedding matrix size. Saec also adopts a fast clustering optimization based on feature frequency to drastically improve clustering time. We implement and evaluate Saec on Numerous, the production distributed machine learning system in Tencent, with 10-day worth of feature data from QQ mobile browser. Testbed experiments show that Saec reduces the number of embedding vectors by two orders of magnitude, compresses the embedding size by ~27x, and delivers the same AUC and log loss performance.

研究动机与目标

• 解决大规模嵌入矩阵在生产推荐系统中不断增长的内存占用问题，其大小可能因数十亿个特征而达到数百 GB。
• 克服现有模型压缩技术在推荐系统中不适用的局限性，原因在于动态特征增长和可变的嵌入向量长度。
• 利用特征相似性和频率，有效压缩嵌入矩阵，同时保持模型性能。
• 设计一种可扩展的聚类方法，仅处理最频繁的特征，从而大幅减少聚类时间，同时不牺牲准确性。
• 通过最小化计算开销并保持高推理效率，实现大规模生产系统的实际部署。

提出的方法

• 在每个特征字段内分别应用 k-means 聚类，以处理可变长度的嵌入向量，确保字段感知的压缩。
• 仅使用每个字段中频率最高的 k 个特征作为聚类代表，以减少聚类计算时间。
• 根据嵌入向量相似性，将低频特征分配给最近的质心，以最小化信息损失。
• 通过利用特征频率的重尾分布优化聚类速度，使处理时间减少超过 32 倍。
• 在压缩后对模型进行微调，以补偿因压缩带来的精度损失，特别是针对压缩后的聚类。
• 将压缩后的嵌入矩阵集成到生产级深度学习系统中，进行端到端评估。

实验结果

研究问题

• RQ1 在字段内聚类相似特征是否能减少嵌入矩阵大小，同时不降低推荐系统的模型性能？
• RQ2 仅使用高频特征进行聚类，对压缩过程的准确性和可扩展性有何影响？
• RQ3 基于特征频率的快速聚类能在多大程度上降低计算成本，同时保持压缩的有效性？
• RQ4 在真实推荐工作负载中，平衡压缩比与模型性能的最优聚类数（k）是多少？
• RQ5 与现有嵌入压缩技术相比，该方法在内存减少和推理质量方面表现如何？

主要发现

• Saec 将嵌入向量数量减少了两个数量级，实现了约 27 倍的有效压缩比。
• 压缩后的模型在 AUC 和对数损失指标上与原始模型保持一致，表明预测精度无下降。
• 快速聚类优化使聚类时间减少超过 32 倍，每字段处理时间降至 2 分钟以内，使该方法适用于每小时重新训练的场景。
• 最优聚类数（k）为 100，因为更高的值（如 k=1000）会导致性能下降，原因在于初始化质量差以及每簇的微调数据减少。
• k=50 导致性能较差，原因是压缩粒度过粗，表明 k=100 在压缩与信息保留之间达到了最佳平衡。
• 该方法可实际部署于生产系统，目前正努力将 Saec 集成到腾讯的全规模推荐流水线中。