[论文解读] Online Contrastive Divergence with Generative Replay: Experience Replay without Storing Data

Decebal Constantin Mocanu, Maria Torres Vega+3 more|arXiv (Cornell University)|Oct 18, 2016

Advanced Bandit Algorithms Research参考文献 2被引用 18

一句话总结

本文提出了一种新型在线训练方法——基于生成回放的在线对比发散（OCDGR），用于限制玻尔兹曼机（RBMs）。该方法用 RBM 自身的生成能力生成合成历史经验，替代传统的经验回放。通过避免显式存储数据，OCDGR 在显著降低内存使用的同时，实现了与经验回放相当或更优的生成性能，在真实世界数据集的 64.28% 测试案例中优于经验回放，且时间复杂度相近。

ABSTRACT

Conceived in the early 1990s, Experience Replay (ER) has been shown to be a successful mechanism to allow online learning algorithms to reuse past experiences. Traditionally, ER can be applied to all machine learning paradigms (i.e., unsupervised, supervised, and reinforcement learning). Recently, ER has contributed to improving the performance of deep reinforcement learning. Yet, its application to many practical settings is still limited by the memory requirements of ER, necessary to explicitly store previous observations. To remedy this issue, we explore a novel approach, Online Contrastive Divergence with Generative Replay (OCD_GR), which uses the generative capability of Restricted Boltzmann Machines (RBMs) instead of recorded past experiences. The RBM is trained online, and does not require the system to store any of the observed data points. We compare OCD_GR to ER on 9 real-world datasets, considering a worst-case scenario (data points arriving in sorted order) as well as a more realistic one (sequential random-order data points). Our results show that in 64.28% of the cases OCD_GR outperforms ER and in the remaining 35.72% it has an almost equal performance, while having a considerably reduced space complexity (i.e., memory usage) at a comparable time complexity.

研究动机与目标

• 为解决传统经验回放（ER）在在线学习中，尤其是在低资源环境下的高内存开销问题。
• 探究生成模型是否能在不存储原始数据的情况下，有效模拟过去的经验。
• 开发一种利用生成回放而非显式数据保留的 RBM 在线训练算法。
• 评估所提方法在生成能力与内存效率方面相对于标准 ER 的性能表现。

提出的方法

• 使用在线对比发散（OCD）以在线方式训练 RBM，即在每个新数据点到达时增量式更新权重。
• 用生成回放机制替代传统经验回放，由 RBM 本身生成用于训练的合成历史经验。
• 利用训练好的 RBM 从其学习到的分布中采样，以模拟在线学习过程中先前观测到的数据点。
• 通过在线权重更新维持马尔可夫链结构，确保学习稳定，且不依赖于存储的数据缓冲区。
• 采用对比发散方法，并固定步数（例如 nCD = 3 或 10）来近似在线更新过程中对对数似然梯度的估计。
• 将生成的样本整合到在线学习过程中，视同真实历史经验，从而实现在无需存储数据的情况下的持续学习。

实验结果

研究问题

• RQ1 像 RBM 这类生成模型是否能在不存储原始数据的情况下，有效模拟在线学习中的历史经验？
• RQ2 与传统经验回放相比，采用生成回放的在线 RBM 训练在生成准确性方面表现如何？
• RQ3 对比发散步数对在线 RBM 生成性能有何影响？
• RQ4 所提方法是否在实现高内存效率的同时保持较低的时间复杂度？
• RQ5 随着数据复杂度和数据集规模的增加，该方法的可扩展性如何？

主要发现

• 在测试的 9 个真实世界数据集中，OCDGR 在 64.28% 的情况下优于传统经验回放，其余 35.72% 的情况下性能几乎相当。
• 在 MNIST 数据集上，RBMOCD 在使用 10 步对比发散时，测试集平均对数概率达到 -104.31，优于使用 3 步时的 -108.96。
• RBMOCD 的学习曲线随时间保持稳定，而 RBMER-ML 和 RBMER-IM 因回放记忆过时导致分布覆盖不足，表现出不稳定性。
• OCDGR 的内存使用量相比 ER 显著降低，因为无需存储任何数据点，同时时间复杂度保持相近。
• 随着数据集规模和分布复杂度的增加，OCDGR 相较于基于 ER 的方法在性能上的优势更加明显。
• 该方法在数据按排序顺序和随机顺序到达的两种场景下均表现出稳定且一致的性能，表明其对数据到达顺序具有鲁棒性。