[论文解读] Time Series Motion Generation Considering Long Short-Term Motion

Kazuki Fujimoto, Sho Sakaino+1 more|arXiv (Cornell University)|Sep 9, 2019

Robot Manipulation and Learning参考文献 28被引用 4

一句话总结

该论文提出了一种新颖的循环神经网络（RNN）模型——PLT模型，通过调整位置和力数据的输入采样周期，分别处理长期（低频）和短期（高频）运动。通过延迟位置输入并采用多抽样率（multi-decimation）启发的频率分离方法，该模型在未学习过的纸张高度上实现了鲁棒的字母书写，相较于标准RNN在长时序任务中的泛化能力和稳定性方面表现更优。

ABSTRACT

Various adaptive abilities are required for robots interacting with humans in daily life. It is difficult to design adaptive algorithms manually; however, by using end-to-end machine learning, labor can be saved during the design process. In our previous research, a task requiring force adjustment was achieved through imitation learning that considered position and force information using a four-channel bilateral control. Unfortunately, tasks that include long-term (slow) motion are still challenging. Furthermore, during system identification, there is a method known as the multi-decimation (MD) identification method. It separates lower and higher frequencies, and then identifies the parameters characterized at each frequency. Therefore, we proposed utilizing machine learning to take advantage of the MD method to infer short-term and long-term (high and low frequency, respectively) motion. In this paper, long-term motion tasks such as writing a letter using a pen fixed on a robot are discussed. We found differences in suitable sampling periods between position and force information. The validity of the proposed method was then experimentally verified, showing the importance of long-term inference with adequate sampling periods.

研究动机与目标

• 为解决机器人操作任务中长期（缓慢）运动生成的挑战，特别是需要力与位置协同的任务。
• 通过引入标准RNN无法捕捉的长期运动动态，提升模仿学习中的泛化能力。
• 克服现有模型在无法学习的环境条件（如纸张高度变化）下无法外推的局限性。
• 探索将系统辨识原理——特别是多抽样率（MD）方法——应用于机器学习以改进运动生成。
• 验证为位置和力数据选择合适的采样周期，对长期运动推断的稳定性和准确性具有关键作用。

提出的方法

• PLT模型采用两个独立的RNN分支：一个用于通过延迟输入采样进行长期位置推断，另一个用于通过高频采样实现短期力控制。
• 该模型受多抽样率（MD）系统辨识方法的启发，该方法通过分离低频和高频动态以实现参数辨识。
• 训练数据通过双边控制采集，操作员在三个高度（10 mm、40 mm、70 mm）的纸上书写，机器人学习主从响应映射关系。
• 模型学习从从动机器人响应中推断主机器人运动，位置和力信号以不同的有效采样率进行处理。
• PLT模型显式延迟位置输入，以支持长期轨迹规划，减少预测引起的振动。
• 与在固定20 ms间隔下处理数据的标准CONV. RNN模型进行对比，凸显自适应采样的优势。

实验结果

研究问题

• RQ1 深度学习模型能否有效学习并泛化机器人操作任务中的长期运动轨迹，例如在不同高度的纸上书写？
• RQ2 位置和力输入采样周期的选择如何影响模仿学习中运动生成的稳定性和准确性？
• RQ3 多抽样率（MD）系统辨识方法能否被有效适配以提升神经网络中长期运动推断的性能？
• RQ4 延迟位置输入是否能提升基于RNN的运动生成模型在未学习环境中的鲁棒性和泛化能力？
• RQ5 为何标准RNN无法泛化到未学习的纸张高度，而PLT模型却能成功？

主要发现

• PLT模型成功在未学习的高度（25 mm、55 mm 和 85 mm）的纸上书写了字母'A'，展现出超越训练数据的强大泛化能力。
• 标准CONV. RNN模型在所有未学习高度上均完全无法书写字母，凸显其在处理长期运动动态方面的无能为力。
• 如图11所示，PLT模型在不同纸张高度下保持了稳定的书写压力，表明其具备有效的力调节能力。
• 在100 mm高度时，PLT模型已无法清晰书写，表明尽管在较低高度上泛化能力极强，但其外推能力仍存在极限。
• 通过延迟位置输入，模型减少了连续位置预测中的振动，提升了运动的平滑性和稳定性。
• 受MD启发的模型结构实现了长期（轨迹）与短期（力）动态的有效分离，这对复杂运动任务至关重要。