[论文解读] RoboPianist: Dexterous Piano Playing with Deep Reinforcement Learning

Kevin Zakka, Wu, Philipp+9 more|arXiv (Cornell University)|Apr 9, 2023

Reinforcement Learning in Robotics被引用 4

一句话总结

RoboPianist 引入了一种深度强化学习框架，使模拟的双手机器人系统能够以高时空精度学习演奏150首风格多样的钢琴曲。通过整合人工提供的指法标注和多任务模仿学习，该系统在基于模型的基线方法上实现了超过83%的性能提升，展示了在高维控制中先进的双手灵巧性。

ABSTRACT

Replicating human-like dexterity in robot hands represents one of the largest open problems in robotics. Reinforcement learning is a promising approach that has achieved impressive progress in the last few years; however, the class of problems it has typically addressed corresponds to a rather narrow definition of dexterity as compared to human capabilities. To address this gap, we investigate piano-playing, a skill that challenges even the human limits of dexterity, as a means to test high-dimensional control, and which requires high spatial and temporal precision, and complex finger coordination and planning. We introduce RoboPianist, a system that enables simulated anthropomorphic hands to learn an extensive repertoire of 150 piano pieces where traditional model-based optimization struggles. We additionally introduce an open-sourced environment, benchmark of tasks, interpretable evaluation metrics, and open challenges for future study. Our website featuring videos, code, and datasets is available at https://kzakka.com/robopianist/

研究动机与目标

• 解决机器人领域中高维、双手灵巧控制的挑战，超越简单的操作任务。
• 开发一个用于评估灵巧操作的基准，以捕捉复杂的协调性、时间控制和规划能力。
• 利用人类先验知识，实现端到端的钢琴演奏策略学习，基于深度强化学习。
• 通过训练单一策略来演奏多首风格多样的乐曲，展示多任务泛化能力。
• 提供一个开源环境和数据集，推动高维控制与机器人灵巧性研究的发展。

提出的方法

• 设计一个包含两个仿人形机器人手（44个自由度）和一个带有88个键-弹簧模型的数码钢琴键盘的模拟环境。
• 使用带有课程学习的深度强化学习训练策略，将MIDI序列映射为精确的指法动作。
• 将人工提供的指法标注作为行为先验，以引导探索并提高样本效率。
• 采用行为克隆实现多任务模仿学习，训练单一策略以演奏多首乐曲。
• 优化超参数，如控制时间步长（0.05秒）、前瞻时域和折扣因子（0.84–0.92），以实现最佳性能。
• 使用F1分数和音符时间精度作为可解释的评估指标，以衡量不同复杂度乐曲中策略的性能。

Figure 1: RoboPianist simulation featuring a full-size digital keyboard (A) with 88 piano keys modeled as linear springs (B). In the piano playing task, two (left and right) anthropomorphic Shadow hands (C) are tasked with playing a musical piece encoded as a trajectory of key presses (D).

实验结果

研究问题

• RQ1 深度强化学习能否成功训练双手机器人手以高时空精度演奏复杂、多音符的钢琴曲？
• RQ2 人工提供的指法标注在高维控制中，对加速学习和提升策略性能有多大的有效性？
• RQ3 单一多任务策略在无需任务特定微调的情况下，能在多大程度上泛化到多样化的乐曲上？
• RQ4 哪些超参数配置（如控制频率、折扣因子）能在复杂、快节奏的乐曲（如《Für Elise》）上实现最优性能？
• RQ5 与强大的基于模型的优化方法相比，所提出的基于强化学习的方法在未见乐曲上的泛化能力和性能表现如何？

主要发现

• RoboPianist 在150首曲目的基准测试中，整体性能超越强基线方法超过83%。
• 使用人工提供的指法标注显著提升了深度强化学习中的样本效率和最终策略性能。
• 多任务模仿学习使单一策略能够在150首风格多样的钢琴曲上实现高F1分数的泛化。
• 控制时间步长为0.05秒（20Hz）在控制粒度和计算可行性之间提供了最佳平衡。
• 折扣因子对性能有关键影响，0.84–0.92范围内的值表现最佳，尤其在复杂乐曲上。
• 采用较低折扣因子（如0.84）训练的智能体表现出更高的F1分数和更激进的学习行为，而较高折扣因子则导致保守行为和次优性能。

Figure 2: RoboPianist Design Considerations . The F1 performance for 3 songs of increasing difficulty. From left to right as specified by the legend, each curve inherits all MDP attributes of the curve before it but makes one additional modification as described by its label.