[论文解读] Multiscale replay: A robust algorithm for stochastic variational inequalities with a Markovian buffer

Milind Nakul, Tianjiao Li+1 more|arXiv (Cornell University)|Jan 4, 2026

Reinforcement Learning in Robotics被引用 0

一句话总结

简要结论：引入多尺度经验回放（MER）算法，用于具马尔可夫数据的随机变分不等式，带有内存缓冲区，在无需链混合时间知识的情况下通过自适应回放缓冲区样本实现加速收敛。

ABSTRACT

We introduce the Multiscale Experience Replay (MER) algorithm for solving a class of stochastic variational inequalities (VIs) in settings where samples are generated from a Markov chain and we have access to a memory buffer to store them. Rather than uniformly sampling from the buffer, MER utilizes a multi-scale sampling scheme to emulate the behavior of VI algorithms designed for independent and identically distributed samples, overcoming bias in the de facto serial scheme and thereby accelerating convergence. Notably, unlike standard sample-skipping variants of serial algorithms, MER is robust in that it achieves this acceleration in iteration complexity whenever possible, and without requiring knowledge of the mixing time of the Markov chain. We also discuss applications of MER, particularly in policy evaluation with temporal difference learning and in training generalized linear models with dependent data.

研究动机与目标

• 通过马尔可夫链生成的依赖数据解决随机变分不等式（VIs）的动机。
• 利用内存缓冲区（经验回放）在不需要混合时间信息的前提下提升收敛性。
• 开发一个多尺度采样方案，达到类似于 CTD 方法的迭代复杂度加速，但无需事先了解链的性质并具自适应性。
• 为 MER 提供理论保证，包括在早期时期实现类似独立同分布的表现，以及在各种应用中的鲁棒性能。
• 将 MER 应用于实际场景，如强化学习中的策略评估和广义线性模型，以展示收敛速度。

提出的方法

• 提出使用内存缓冲区并在各时期降低回放间隔 tau_k = B / 2^k 的多尺度经验回放 (MER) 算法。
• 在 epoch k 内工作；样本以回放间隔 tau_k 取样并以 T_k = 2^k 步更新。
• 在每次迭代中，通过使用样本 xi_{t tau_k} 进行随机近似更新，并用新样本替换已使用的样本以保持缓冲区更新。
• 在具有随机算子偏差的马尔可夫数据的标准 VI 假设下提供理论收敛框架。
• 当回放间隔超过有效混合时间时，MER 能模仿类似独立同分布的行为，并量化随机误差如何随回放间隔和混合程度变化。
• 证明 MER 不需要显式了解马尔可夫链的混合时间即可实现加速。

Figure 1: A schematic diagram showing the progression of error with the number of iterations when $T$ is the number of available samples. The blue curve represents the result of running the serial stochastic approximation algorithm, which we label as TD. The red curve represents the CTD algorithm (K

实验结果

研究问题

• RQ1 MER 是否能够在不知道混合时间的情况下，实现对具有马尔可夫数据的随机 VIs 的加速迭代复杂度？
• RQ2 在存在依赖数据的情况下，应该如何从内存缓冲区中选择样本以优化收敛？
• RQ3 MER 是否在早期时期模拟出类似独立同分布的行为，且在何种条件下能保证这种仿真？
• RQ4 MER 的理论收敛保证是什么，包括随机误差的尺度与偏差控制？
• RQ5 MER 的改进是否能扩展到实际问题，如 RL 的策略评估和广义线性模型？

主要发现

• MER 提供迭代复杂度界，显示出与 CTD 相当的加速，且不需要混合时间知识的前提。
• 当回放间隔大于有效混合时间时，MER 在早期时期模拟出类似独立同分布的行为，给出将 MER 误差与 i.i.d. 类比的正式双侧界限。
• 当缓冲区大小和回放间隔满足特定关系时，随机误差项的尺度有利，达到对适当参数设定的独立同分布样本性能。
• 分析涵盖带马尔可夫噪声的广义强单调 VIs，并给出在何种条件下马尔可夫数据引起的偏差得到控制。
• 将其应用于广义线性模型和 RL 的策略评估，展示的收敛速度与最先进的保证相竞争且对混合时间不可知。
• MER 通过将加速与对马尔可夫链性质的精确知识解耦并在各 epoch 自适应调整回放间隔，展现鲁棒性。