论文地址：https://arxiv.org/pdf/2401.16889

摘要

论文详细介绍了一种强化学习（RL）框架，用于开发双足机器人的动态行走控制器。该框架不仅限于单一的行走技能，而是提供了一个统一的解决方案，能够训练出能够适应多种高度动态技能的鲁棒和敏捷的控制策略。这些技能包括周期性的走路和跑步，以及非周期性的跳跃和站立。论文首先阐述了双足机器人行走控制的挑战，包括复杂的未受约束的动态和不同行走技能的多样性。然后，论文介绍了所提出的 RL 框架的详细设计，包括一种新的双历史策略架构，该架构利用了机器人的长期和短期输入 / 输出（I/O）历史数据。论文还讨论了 RL 训练系统的多阶段策略，包括单任务训练、任务随机化和动态随机化，以及如何通过这种训练系统实现从模拟到现实世界的零样本转移。

论文进一步通过实验验证了所提出的控制框架在模拟和现实世界中的表现。实验结果显示，相比于其他基线方法，提出的方法在学习性能和模拟到现实世界的转移能力上都表现出色。论文最后总结了 RL 在双足机器人行走控制中的应用，并讨论了未来的研究方向。

论文初读;