[论文解读] Robust Quadrupedal Locomotion on Sloped Terrains: A Linear Policy Approach

Kartik Paigwar, Lokesh Krishna+8 more|arXiv (Cornell University)|Oct 30, 2020

Robotic Locomotion and Control被引用 7

一句话总结

本文提出了一种计算轻量级的线性反馈策略，通过增强随机搜索（ARS）训练单一策略，在倾斜地形上实现鲁棒的四足步行。该策略根据躯干姿态和地形坡度动态调整脚部轨迹，可在高达15°的斜坡上实现稳定行走，有效抵抗外部干扰，并在无需重新训练的情况下泛化至不同低成本四足机器人。

ABSTRACT

In this paper, with a view toward fast deployment of locomotion gaits in low-cost hardware, we use a linear policy for realizing end-foot trajectories in the quadruped robot, Stoch $2$. In particular, the parameters of the end-foot trajectories are shaped via a linear feedback policy that takes the torso orientation and the terrain slope as inputs. The corresponding desired joint angles are obtained via an inverse kinematics solver and tracked via a PID control law. Augmented Random Search, a model-free and a gradient-free learning algorithm is used to train this linear policy. Simulation results show that the resulting walking is robust to terrain slope variations and external pushes. This methodology is not only computationally light-weight but also uses minimal sensing and actuation capabilities in the robot, thereby justifying the approach.

研究动机与目标

• 开发一种最小化、计算高效的控制框架，实现在低成本四足机器人斜坡地形上的稳定行走。
• 解决在执行机构、传感和计算资源有限的硬件平台上部署先进控制律的挑战。
• 通过单一线性策略并仅进行最少调参，实现快速、可泛化的策略部署，适用于多种四足机器人。
• 通过领域随机化，实现对地形坡度变化、外部干扰以及参数变化（摩擦系数、质量、电机强度）的鲁棒性。
• 证明通过ARS训练的线性策略可在无需改变网络架构或超参数的情况下，泛化至不同机器人构型和倾斜度。

提出的方法

• 线性策略将躯干姿态和地形坡度（通过前向运动学和足部接触检测估算）映射到半椭圆足部轨迹的参数。
• 采用椭圆参数化方法生成足部轨迹，以确保安全的工作空间合规性并实现快速训练。
• 通过逆运动学求解器计算期望关节角，并使用PID控制律进行跟踪。
• 采用增强随机搜索（ARS）这一无模型、无梯度的强化学习算法训练策略，以优化稳定性和地形适应性。
• 将姿态历史作为输入，以增强策略的表征能力，提升干扰检测与噪声滤波性能。
• 在训练过程中应用领域随机化，以提高对不同硬件平台间摩擦系数、质量及电机强度变化的鲁棒性。

实验结果

研究问题

• RQ1 通过ARS训练的线性策略是否能在传感和计算开销极低的情况下，实现在斜坡地形上的稳定、鲁棒的四足步行？
• RQ2 单一的线性策略在具有不同运动学和动力学特性的多种四足机器人之间，其泛化能力如何？
• RQ3 线性策略在实时环境中对横向外部干扰的抑制能力以及对地形坡度变化的适应能力有多强？
• RQ4 在动态地形导航中，引入姿态历史是否能提升线性策略的性能与鲁棒性？
• RQ5 在训练中应用领域随机化是否能实现对未建模的摩擦系数、质量及电机强度变化的泛化？

主要发现

• 线性策略成功在-9°至+15°的斜坡上稳定了行走，机器人能实时调整重心姿态和高度以匹配地形。
• 策略对最大100 N的侧向外部干扰表现出鲁棒性，可在0.5秒内纠正身体姿态，并调整步长与转向。
• 在爬坡过程中，机器人保持平衡，侧倾角变化为±3°，偏航角变化为±6°，表明具备有效的动态适应能力。
• 该策略可泛化至其他机器人（如HyQ和Unitree-Laikago），仅需缩放动作空间值，并对PD增益和频率进行少量调参。
• 通过将楼梯视为斜坡地形，策略在补充视频中验证了其在楼梯上实现稳定行走的能力。
• 姿态历史对线性策略检测足部打滑和滤除传感器噪声至关重要，显著提升了性能。