[论文解读] Reinforcement Learning in Conflicting Environments for Autonomous Vehicles

Dominik Meyer, Johannes Feldmaier+1 more|arXiv (Cornell University)|Oct 22, 2016

Reinforcement Learning in Robotics参考文献 7被引用 12

一句话总结

本文研究了未经修改的强化学习（RL）智能体在与自动驾驶汽车和水下机器人相关的纽科姆悖论和囚徒困境情景中的行为。采用SARSA和AVGQ算法并结合ε-greedy探索，研究结果表明，RL智能体能够收敛至最大期望效用解，其行为会根据预测的合作概率进行调整，但当预测准确率接近0.75阈值时，学习无法保持一致。

ABSTRACT

In this work, we investigate the application of Reinforcement Learning to two well known decision dilemmas, namely Newcomb's Problem and Prisoner's Dilemma. These problems are exemplary for dilemmas that autonomous agents are faced with when interacting with humans. Furthermore, we argue that a Newcomb-like formulation is more adequate in the human-machine interaction case and demonstrate empirically that the unmodified Reinforcement Learning algorithms end up with the well known maximum expected utility solution.

研究动机与目标

• 分析未经修改的强化学习智能体在纽科姆悖论和囚徒困境等决策困境中的表现，这些困境模拟了人机交互场景。
• 评估标准RL算法是否能在合作具有概率性且基于预测而非确定性的环境中学习到最优行为。
• 在个体和联合收益设置下，比较SARSA和AVGQ RL智能体与基线策略的性能表现。
• 研究奖励结构和预测准确率如何影响冲突性、合作竞争性机器人场景中的学习结果。
• 评估在水下维护和自动驾驶等实际应用中，使用RL进行自主行动规划的可行性。

提出的方法

• 作者将深海维修机器人在双泄漏情景下的行为建模为类似纽科姆的决策问题，其中一台机器人的行动由另一台机器人基于统计模型进行预测。
• 采用两臂赌博机模型来表示智能体在修复或不修复泄漏之间的选择，奖励基于遗憾值（负收益）。
• 应用SARSA和AVGQ（平均Q值）算法，并采用ε-greedy探索，学习率α=0.1，折扣因子γ=0.9，ε=0.1，共进行10,000次迭代，结果取50次运行的平均值。
• 环境中包含可变准确度的预测机制，模拟智能体预测合作机器人行为的能力。
• 使用两种基线智能体：一种始终修复，另一种从不修复，用于与学习型智能体进行性能对比。
• 研究评估了个体遗憾（I）和总遗憾（T）两种收益设置，以分析收益聚合方式对学习结果的影响。

实验结果

研究问题

• RQ1 标准强化学习算法（如SARSA和AVGQ）在未经算法修改的情况下，能否在类似纽科姆的决策困境中学习到最优行为？
• RQ2 在合作竞争场景中，合作方行为的预测准确率如何影响RL智能体的学习表现和动作选择？
• RQ3 在囚徒困境设置中，奖励结构（个体遗憾 vs. 总遗憾）是否显著改变RL智能体的学习结果和收敛行为？
• RQ4 在何种合作概率水平下，RL学习会失效，原因是什么？
• RQ5 未经修改的RL智能体在冲突环境中在多大程度上能收敛至最大期望效用解？

主要发现

• 当合作方的合作概率极高或极低时，SARSA和AVGQ智能体能够成功学习以最大化期望效用，并据此调整其行为。
• 当合作方的合作概率接近0.75时，RL智能体无法识别出一致模式，转而采用随机动作选择，表明此处为学习失败点。
• 图1(c)的收益结果证实，智能体的表现紧密跟随期望效用解，在预测条件一致时会自然涌现出最优行为。
• 在个体遗憾设置中，不修复成为最优策略；而在总遗憾设置中，修复则占主导地位——这表明该困境的核心结构在RL模拟中得以保留。
• AVGQ在学习一致性方面优于标准SARSA，且更接近期望效用解，尤其在高准确度预测环境下表现更优。
• 结果表明，奖励结构和学习算法的选择显著影响智能体行为，验证了奖励设计在自主决策系统中的重要性。