[论文解读] When Simple Exploration is Sample Efficient: Identifying Sufficient Conditions for Random Exploration to Yield PAC RL Algorithms

Yao Liu, Emma Brunskill|arXiv (Cornell University)|May 23, 2018

Reinforcement Learning in Robotics参考文献 26被引用 6

一句话总结

本文識別出隨機探索在強化學習中能實現樣本高效學習的足夠結構條件，證明當馬爾可夫決策過程（MDP）的關鍵性質——如靜態佔有分佈和轉移圖的譜性質——呈多項式規模時，Q-learning 搭配隨機游走探索可達成 PAC（Probably Approximately Correct）樣本複雜度。主要貢獻在於提出一個理論框架，說明何時簡單探索足以實現高效學習。

ABSTRACT

Efficient exploration is one of the key challenges for reinforcement learning (RL) algorithms. Most traditional sample efficiency bounds require strategic exploration. Recently many deep RL algorithms with simple heuristic exploration strategies that have few formal guarantees, achieve surprising success in many domains. These results pose an important question about understanding these exploration strategies such as $e$-greedy, as well as understanding what characterize the difficulty of exploration in MDPs. In this work we propose problem specific sample complexity bounds of $Q$ learning with random walk exploration that rely on several structural properties. We also link our theoretical results to some empirical benchmark domains, to illustrate if our bound gives polynomial sample complexity in these domains and how that is related with the empirical performance.

研究动机与目标

• 理解何時簡單的隨機探索能帶來樣本高效的強化學習，挑戰『策略性探索始終必要』的假設。
• 識別 MDP 的結構性質，以判斷探索的難易程度，特別是在隨機游走探索的脈絡下。
• 為 Q-learning 搭配隨機探索提供形式化、問題特定的樣本複雜度邊界，而非依賴策略性探索的啟發式方法。
• 解釋 e-greedy 和隨機探索在方格世界與 Atari 等領域中取得實證成功的背後原因，儘管理論上對樣本效率存在疑慮。
• 描述隨機探索可被證明樣本高效的環境特徵，為強化學習中的演算法選擇與環境設計提供指引。

提出的方法

• 提出一個理論框架，利用隨機游走下的靜態佔有分佈 φ(s) 分析 MDP 中的隨機游走探索。
• 引入圖拉普拉斯矩陣與子轉移矩陣範數的應用，以界定覆蓋時間與樣本複雜度。
• 應用指向圖上隨機游走理論的成果（Chung, 2005），推導至各狀態的首達時間之有限樣本邊界。
• 使用矩陣範數不等式與 Hölder 不等式，界定透過 (I - P^T_{-v,-v})^{-1} 覆蓋所有狀態的期望時間，並連結至樣本效率。
• 定義一項新的結構性質——局部對稱動作——其中狀態間的動作映射具有對稱雙射性，可確保有利的佔有分佈。
• 推導出覆蓋時間邊界：4A ln(4SA) ∑_v inf_p [S^{1-1/p} / (1 - ||P^T_{-v,-v}||_p)]，當子轉移矩陣範數小於 1 時，此邊界為有限值。

实验结果

研究问题

• RQ1 在何種 MDP 結構條件下，隨機探索可使 Q-learning 的樣本複雜度呈多項式？
• RQ2 為何簡單探索策略如 e-greedy 在某些環境（如方格世界、Atari）中表現成功，儘管缺乏形式化保證？
• RQ3 在具有非平凡拓撲（如陷阱門結構）的 MDP 中，隨機探索能否被證明具有樣本效率？
• RQ4 轉移圖的譜性質（如特徵值、矩陣範數）如何與基於隨機游走的探索效率相關？
• RQ5 何種特徵可區分隨機探索高效與指數級低效的 MDP？例如組合鎖或鏈式 MDP。

主要发现

• 若 MDP 的靜態佔有分佈 φ(s) 及轉移矩陣的譜性質表現良好，則隨機探索搭配貪婪利用可達成 PAC 樣本複雜度。
• 隨機游走探索的覆蓋時間邊界為 4A ln(4SA) ∑_v inf_p [S^{1-1/p} / (1 - ||P^T_{-v,-v}||_p)]，當子轉移矩陣範數遠離 1 時，此邊界為 MDP 大小的多項式函數。
• 若不同狀態間的最小一步轉移機率 p_min > 0，則覆蓋時間邊界為 4SA ln(4SA) / p_min，為多項式邊界。
• 局部對稱動作——即狀態間動作映射具有對稱雙射性——可確保有利的靜態分佈，進而實現高效探索。
• 鏈式 MDP 與 Montezuma’s Revenge 被證明對隨機探索困難，因其譜性質不佳且首達時間過長，解釋了其在實證上的挑戰。
• 有限直徑或淺層規劃性質雖有助於策略性探索，但不足以保證隨機探索下的樣本效率，突顯兩類演算法在需求上的關鍵差異。