[论文解读] Reinforcement Learning in Practice: Opportunities and Challenges

Yuxi Li|arXiv (Cornell University)|Feb 23, 2022

Innovation Diffusion and ForecastingDecision Sciences被引用 17

一句话总结

本文提供了强化学习（RL）在现实世界应用中的非技术性、全景式概述，讨论了其在机器人、医疗、金融和教育等领域的广泛机遇，同时系统分析了奖励设计、探索、可扩展性和部署等关键挑战。文章最后总结了RL最有效的场景，并解释了尽管潜力巨大，为何其广泛应用仍受限制的原因。

ABSTRACT

This article is a gentle discussion about the field of reinforcement learning in practice, about opportunities and challenges, touching a broad range of topics, with perspectives and without technical details. The article is based on both historical and recent research papers, surveys, tutorials, talks, blogs, books, (panel) discussions, and workshops/conferences. Various groups of readers, like researchers, engineers, students, managers, investors, officers, and people wanting to know more about the field, may find the article interesting. In this article, we first give a brief introduction to reinforcement learning (RL), and its relationship with deep learning, machine learning and AI. Then we discuss opportunities of RL, in particular, products and services, games, bandits, recommender systems, robotics, transportation, finance and economics, healthcare, education, combinatorial optimization, computer systems, and science and engineering. Then we discuss challenges, in particular, 1) foundation, 2) representation, 3) reward, 4) exploration, 5) model, simulation, planning, and benchmarks, 6) off-policy/offline learning, 7) learning to learn a.k.a. meta-learning, 8) explainability and interpretability, 9) constraints, 10) software development and deployment, 11) business perspectives, and 12) more challenges. We conclude with a discussion, attempting to answer: "Why has RL not been widely adopted in practice yet?" and "When is RL helpful?".

研究动机与目标

• 提供强化学习在多样化领域中实际应用的全面且易于理解的概述。
• 识别并分析阻碍RL在真实世界系统中采用的主要技术、方法论和组织性挑战。
• 阐明RL在何种条件下最能有效解决现实世界的序列决策问题。
• 综合研讨会、会议和从业者经验的洞见，以指导未来的研究与部署。
• 回答核心问题：为何RL尚未实现广泛应用，以及它在何时真正具有帮助？

提出的方法

• 本文综合了来自ICML和RL4RealLife等活动的主流会议和研讨会的历史与近期研究、调查、教程、演讲、博客、书籍以及小组讨论的洞见。
• 将讨论组织为两个主要部分：12个应用领域中的机遇，以及RL部署中的12个关键挑战。
• 分析基于真实世界部署和从业者经验，强调实用洞见而非理论或算法细节。
• 作者广泛引用各类来源，包括关键论文、行业报告，以及顶尖RL研究人员和从业者的专家贡献。
• 使用概念性框架（如“奖励即足够”假说）以及模拟器/数字孪生的作用，来构建RL适用性的分析结构。
• 通过问题结构的视角评估RL的潜力，特别是问题是否可被建模为具有可衡量奖励的序列决策任务。

实验结果

研究问题

• RQ1 在何种条件下，强化学习最能有效解决现实世界问题？
• RQ2 尽管理论潜力巨大，为何强化学习尚未在工业界实现广泛应用？
• RQ3 部署RL系统时，最关键的哪些技术和实际障碍限制了其规模化？
• RQ4 不同应用领域（如机器人、金融和医疗）如何从RL中受益，或面临哪些独特挑战？
• RQ5 模拟器、数据和模型保真度在决定RL应用成败中扮演何种角色？

主要发现

• 当一个问题可被建模为具有明确定义状态、动作和奖励的序列决策过程时，强化学习最为有效。
• 具备高保真度模拟器或丰富历史数据（在线或离线）的问题，在RL部署中表现出更高的成功率。
• 深度学习与RL的结合推动了游戏对战（如AlphaGo）和推荐系统等领域的突破，但现实世界应用仍受限于实际挑战。
• 即使算法在受控环境中表现良好，奖励设计、探索、安全性和可解释性等挑战仍是部署的主要障碍。
• 在具有明确目标函数和可衡量结果的领域（如组合优化和控制系统），RL特别有前景，但在主观性或以人为中心的领域（如教育和游戏设计）则效果较弱。
• 尽管进展显著，RL尚未出现类似深度学习在计算机视觉或自然语言处理中那样的“杀手级应用”，表明其更可能是渐进式、增量式的整合，而非突然的突破。