[论文解读] Using Grouped Linear Prediction and Accelerated Reinforcement Learning for Online Content Caching

Naifu Zhang, Kaibin Zheng+1 more|arXiv (Cornell University)|Mar 13, 2018

Caching and Content Delivery参考文献 21被引用 9

一句话总结

本文提出了一种新颖的在线内容缓存框架，采用分组线性模型（GLM）进行动态流行度预测，并结合无模型强化学习加速（RLMA）算法实现高效的缓存替换。通过按内容年龄分组并利用虚拟样本加速学习，该方法在非平稳环境中（内容流行度持续演变）的缓存命中率和长期奖励均优于LRU、LFUDA及基线Q-learning方法。

ABSTRACT

Proactive caching is an effective way to alleviate peak-hour traffic congestion by prefetching popular contents at the wireless network edge. To maximize the caching efficiency requires the knowledge of content popularity profile, which however is often unavailable in advance. In this paper, we first propose a new linear prediction model, named grouped linear model (GLM) to estimate the future content requests based on historical data. Unlike many existing works that assumed the static content popularity profile, our model can adapt to the temporal variation of the content popularity in practical systems due to the arrival of new contents and dynamics of user preference. Based on the predicted content requests, we then propose a reinforcement learning approach with model-free acceleration (RLMA) for online cache replacement by taking into account both the cache hits and replacement cost. This approach accelerates the learning process in non-stationary environment by generating imaginary samples for Q-value updates. Numerical results based on real-world traces show that the proposed prediction and learning based online caching policy outperform all considered existing schemes.

研究动机与目标

• 为解决无线边缘缓存中传统静态流行度模型失效的动态内容流行度与用户偏好演变挑战。
• 设计一种可扩展的在线缓存策略，无需用户上下文或内容特征信息，仅依赖本地请求历史。
• 通过为Q值更新生成合成经验，降低样本复杂度并加速非平稳环境中的学习过程。
• 在统一的强化学习框架中同时优化缓存命中率与替换成本，采用紧凑的动作空间。
• 在真实世界追踪数据上评估所提方法，并证明其优于现有缓存策略。

提出的方法

• 提出分组线性模型（GLM），将历史内容请求次数作为特征，并基于内容年龄对线性系数进行分组，以建模时间上的流行度动态变化。
• 基于内容请求间的相关系数，对GLM参数施加线性约束，以防止过拟合，且无需正则化。
• 将缓存替换问题重新表述为非平稳马尔可夫决策过程（MDP），其中奖励同时包含缓存命中与替换成本。
• 提出RLMA，一种无模型强化学习方法，通过从历史数据中生成虚拟经验以加速Q值更新。
• 为虚拟样本采用自适应学习率，以提升非平稳环境中的收敛性与稳定性。
• 将动作空间定义为需替换的内容数量（而非具体的内容集合），显著降低状态与动作空间的复杂度。

实验结果

研究问题

• RQ1 仅使用历史请求数据与内容年龄，分组线性模型能否有效预测动态内容流行度？
• RQ2 通过虚拟样本实现的无模型加速，在非平稳缓存环境中如何提升学习效率？
• RQ3 所提出的RLMA算法在长期奖励与缓存命中率方面，相较于传统缓存策略（如LRU与LFUDA）的性能提升程度如何？
• RQ4 将动作空间简化为替换数量（而非内容集合）对可扩展性与性能的影响如何？
• RQ5 相较于静态流行度假设，基于GLM的预测是否能在真实世界动态内容库中提升缓存性能？

主要发现

• 当缓存大小为5个文件时，GLM的缓存命中率比LFUDA高出15.2%，比LRU高出170.6%，表明其在动态环境中的预测精度更优。
• 在1000个文件的缓存大小下，RLMA的累积奖励比LFUDA高15.6%，比基线Q-learning高22.6%，比最热门策略高28.8%，比LRU高30.8%。
• RLMA的性能随时间推移逐渐趋近最优策略，表明其能有效适应不断演变的流行度特征。
• 基线Q-learning因仅依赖真实经验而无法收敛，凸显了RLMA中合成样本生成的优势。
• LRU在400个时间片后性能显著下降，因内容库规模扩大导致替换成本上升，而RLMA保持稳定且更优的性能。
• GLM与RLMA的结合在预测准确率与长期奖励方面均显著优于所有基线方法，验证了该框架在真实世界动态场景下的有效性。