基于多任务强化学习的地形自适应模仿学习方法

地形自适应能力是智能体在复杂地形条件下稳定运动的基础，而由于机器人动力学系统的复杂性，传统逆动力学方法通常难以使其具备这种能力。现有利用强化学习在解决序列决策问题上的优势训练智能体地形适应能力的单任务学习方法无法有效学习各类地形中的相关性。事实上，复杂地形自适应任务可以认为是一种多任务，子任务间的关系可以用不同地形影响因素来衡量，通过子任务模型的相互学习解决数据分布信息获取不全面的问题。基于此，本文提出一种多任务强化学习方法。该方法包含1个由子任务预训练模型组成的执行层和1个基于强化学习方法、采用软约束融合执行层模型的决策层。在LeggedGym地形仿真器上的实验证明，本文方法训练的智能体运动更加稳定，在复杂地形上的摔倒次数更少，并且表现出更好的泛化性能。