极简深度强化学习实现-DDPG-TD3-SAC

github地址

https://github.com/kaixindelele/DRL-tensorflow
有帮助的话,希望能给我github点个star,thank u~
这个项目已经放弃维护了!

最新的代码库:
DRLib:一个简洁的强化学习库,集成了HER和PER

based on

My DRL library with tensorflow1.14 core codes based on https://github.com/openai/spinningup

My job is wrap the algorithms functions into classes in order to easy to call. Maintain the performance in gym environments of the original codes.

实现目的和学习建议:

网上很多实现这些深度强化学习的算法框架,但是很多都是非常复杂的实现,偶尔有人复现了单一算法又难以确定正确性和拓展性,因此我在openai的spinning-up的基础上,抽出最核心的算法,并且封装成类,便于调用。

在看openai的spinning-up的时候,他们建议和我总结的规律,学习一个新的算法:

  1. 看懂算法简介
  2. 看懂伪代码;
  3. 带着问题看原版论文;
  4. 看完之后实现最精简的算法,并且跑最简单的gym环境,测试算法的有效性;
  5. 增加新的功能,拓展到复杂任务, 每次增加一个部件,做一次测试!
  6. 最终实现你的任务(工作量实在是太大了~)

至于这些算法怎么学,还是建议自己去看他们的文档,我目前总结出来的,感觉还差了一点火候。
等以后有时间了,或者我理解更透彻了,也许会对这些算法做一个中文的讲解。

下一步打算

抽时间将on-policy部分的TRPO和PPO看懂,实现。
大概需要两周时间吧

Logo

魔乐社区(Modelers.cn) 是一个中立、公益的人工智能社区,提供人工智能工具、模型、数据的托管、展示与应用协同服务,为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作,由全产业链共同建设、共同运营、共同享有,推动国产AI生态繁荣发展。

更多推荐