[论文解读] The Natural Language of Actions

Guy Tennenholtz, Shie Mannor|arXiv (Cornell University)|Feb 4, 2019

Reinforcement Learning in Robotics参考文献 31被引用 8

一句话总结

本文提出 Act2Vec，一种基于示范轨迹学习分布式、上下文相关动作表征的框架，受自然语言处理启发。通过将动作建模为‘动作语言’中的词汇，该方法通过更优的状态表征、Q值近似和高效探索，提升了强化学习性能，在导航、绘画和 StarCraft II 任务中均展现出可测量的性能提升。

ABSTRACT

We introduce Act2Vec, a general framework for learning context-based action representation for Reinforcement Learning. Representing actions in a vector space help reinforcement learning algorithms achieve better performance by grouping similar actions and utilizing relations between different actions. We show how prior knowledge of an environment can be extracted from demonstrations and injected into action vector representations that encode natural compatible behavior. We then use these for augmenting state representations as well as improving function approximation of Q-values. We visualize and test action embeddings in three domains including a drawing task, a high dimensional navigation task, and the large action space domain of StarCraft II.

研究动机与目标

• 开发一种通用框架，用于在强化学习中学习有意义的、基于上下文的动作表征。
• 利用示范轨迹提取环境中可接受与兼容行为的先验知识。
• 通过将动作历史嵌入加入状态表征，提升强化学习性能。
• 通过相似动作的聚类，实现在大动作空间环境中的更高效探索。
• 可视化并解释学习向量空间中动作之间的语义关系。

提出的方法

• Act2Vec 使用带负采样的连续跳字模型（SGNS）来基于示范轨迹中动作的上下文共现关系，学习 d 维动作表征。
• 该方法将动作视为词汇，其上下文视为动作序列中的邻近动作，通过点互信息（PMI）捕捉语义相似性与关系。
• 通过将当前状态与学习到的动作历史嵌入结合，生成联合表征，用于策略学习，从而增强状态表征。
• 提出一种基于聚类的探索策略，将动作按嵌入相似性分组，以减少在大动作空间中的冗余探索。
• 该框架在示范策略的轨迹语料上进行训练，使用固定长度 |H| 的上下文窗口以建模序列依赖关系。
• 该方法通过利用嵌入空间中动作之间的结构关系，提升 Q 值函数近似的性能。

实验结果

研究问题

• RQ1 从示范轨迹中学习到的动作表征能否捕捉动作之间的有意义语义关系，如相似性与对称性？
• RQ2 基于上下文的动作嵌入如何改善强化学习中的状态表征？
• RQ3 动作嵌入能否提升大动作空间环境中 Q 值函数的近似性能并降低样本复杂度？
• RQ4 动作嵌入在多大程度上可通过相似动作的聚类实现高效探索？
• RQ5 动作嵌入在多样化环境中（包括高维复杂领域如 StarCraft II）的泛化能力如何？

主要发现

• Act2Vec 有效学习到能捕捉语义关系（如相似性与对称性）的动作嵌入，导航与绘画任务中动作对的二维投影可视化结果清晰呈现了这些关系。
• 将动作历史嵌入整合进状态表征显著提升了策略性能，尤其在需要序列决策的任务中表现突出。
• 通过利用嵌入空间中动作之间的结构关系，动作嵌入使 Q 值函数近似更加准确，降低了近似误差。
• 基于聚类的探索策略通过剔除已知次优动作附近的动作，显著减少了大动作空间环境中的冗余探索。
• 在 StarCraft II 领域，Act2Vec 从人类对战回放中捕捉到有意义且符合人类直觉的动作关系（如单位指令），即使强化学习智能体难以学会这些关系。
• 实证结果表明，在绘制正方形和高维导航任务中均实现了可测量的性能提升，证明了该框架在不同领域的泛化能力。