[论文解读] Sublinear Least-Squares Value Iteration via Locality Sensitive Hashing

Anshumali Shrivastava, Zhao Song+1 more|arXiv (Cornell University)|May 18, 2021

Advanced Image and Video Retrieval Techniques参考文献 91被引用 5

一句话总结

本文提出了一种次线性最小二乘值迭代（LSVI）算法，通过利用局部敏感哈希（LSH）进行近似最大内积搜索（Max-IP），实现在动作数量上的次线性运行时间。该文证明，通过精心选择近似因子，该算法在保持与标准LSVI相同遗憾值的同时，显著降低了计算成本，这是首次在强化学习中实现LSH的可证明集成，并具备理论保证。

ABSTRACT

We present the first provable Least-Squares Value Iteration (LSVI) algorithms that have runtime complexity sublinear in the number of actions. We formulate the value function estimation procedure in value iteration as an approximate maximum inner product search problem and propose a locality sensitive hashing (LSH) [Indyk and Motwani STOC'98, Andoni and Razenshteyn STOC'15, Andoni, Laarhoven, Razenshteyn and Waingarten SODA'17] type data structure to solve this problem with sublinear time complexity. Moreover, we build the connections between the theory of approximate maximum inner product search and the regret analysis of reinforcement learning. We prove that, with our choice of approximation factor, our Sublinear LSVI algorithms maintain the same regret as the original LSVI algorithms while reducing the runtime complexity to sublinear in the number of actions. To the best of our knowledge, this is the first work that combines LSH with reinforcement learning resulting in provable improvements. We hope that our novel way of combining data-structures and iterative algorithm will open the door for further study into cost reduction in optimization.

研究动机与目标

• 为解决迭代式强化学习算法中值函数估计的高计算成本，特别是在大规模动作空间中的问题。
• 将最小二乘值迭代（LSVI）的运行时间复杂度从线性降低至动作数量的次线性。
• 正式建立通过LSH进行近似Max-IP搜索与强化学习遗憾分析之间的联系。
• 设计一个可证明高效且稳定的基于LSH的框架，用于处理相关查询下的自适应、迭代式强化学习算法。
• 将该方法扩展至LSVI-UCB，采用矩阵范数搜索以支持探索，同时保持理论保证。

提出的方法

• 将LSVI和LSVI-UCB中的值函数估计问题形式化为近似最大内积搜索（Max-IP）问题。
• 设计一种专用于Max-IP的局部敏感哈希（LSH）数据结构，且近似误差可控。
• 引入量化版的(c, τ, λ)-Max-IP和(c, τ, λ)-Max-MatNorm数据结构，以处理近似搜索中的加法误差。
• 将LSH扩展至近似最大矩阵范数搜索（Max-MatNorm），以应用于LSVI-UCB中的探索机制。
• 通过将矩阵向量化，将Max-MatNorm查询映射为d²维向量上的Max-IP查询。
• 应用对失败概率和自适应查询序列中误差传播的理论界，以确保稳定性。

实验结果

研究问题

• RQ1 LSH是否可用于LSVI的值函数估计中，实现在动作数量上的次线性运行时间，同时不增加遗憾值？
• RQ2 Max-IP中的何种近似因子足以保持原始LSVI算法的遗憾边界？
• RQ3 LSH如何适应迭代式强化学习算法中自适应且相关的查询？
• RQ4 Max-IP框架是否可扩展至Max-MatNorm，以支持LSVI-UCB中的探索？
• RQ5 在该强化学习场景下，使用LSH的空间与时间权衡的理论特性是什么？

主要发现

• 次线性LSVI算法实现了值迭代复杂度O(HKd²A^ρ · κ)，其中ρ < 1，从而在动作数量A上实现次线性运行时间。
• 对于次线性LSVI-UCB，值迭代复杂度为O(HKd²A^ρ · κ)，其中ρ = 1 − 1/(4√K)或ρ = 1 − 1/(8K)，具体取决于预处理的权衡。
• 当c = 1 − ι/√K且λ ≤ √(H²K)时，次线性LSVI-UCB的遗憾被高概率地界为O(Cβ · √(d³H⁴Kι²))。
• 基于LSH的Max-MatNorm数据结构能以(c, τ, λ)保证正确近似最大矩阵范数，从而可在迭代式强化学习中稳定使用。
• 该框架保持了与标准LSVI和LSVI-UCB相同的遗憾值，证明次线性加速不会损害学习性能。
• 分析考虑了自适应查询之间的依赖关系，并通过在相关查询上使用联合界控制累积失败概率。