入门深度强化学习之后，如何学习经典论文的代码是一个问题。一方面可以通过github上搜索解决这个问题，但质量参差不齐，尝试之后无法跑通会浪费大量时间；另一方面许多优秀的团队开发了深度强化学习的开源框架，结合文档，可以很快上手，阅读源码也可以学习优秀的代码风格。
  我也面临学习强化学习算法代码的问题。今天看到一篇分析各种强化学习框架的文章（该文章发布于2019年）：A Comparison of Reinforcement Learning Frameworks: Dopamine, RLLib, Keras-RL, Coach, TRFL, Tensorforce, Coach and More。该文章从模块性、易用性等方面分析了各种强化学习框架的优劣。为了节省时间，文章里面经过一番对比之后，认为Coach是最好的框架，该框架内容全面基本覆盖了强化学习的经典算法和强化学习的各种环境，贴图：


  可以说是我目前见到过的最全面的框架。
  该框架支持tensorflow和mxnet，有详细的文档以及教程，有良好的模块性并且拥有自己的展示面板（别的框架都基于tensorboard）。该框架的最新版本1.0.0发布于2019年7月24日。
  除了Coach，我还想推荐的一个是Spining Up，这个框架主要实现的是基于policy的算法，并不全面。但它的文档里总结的强化学习经典论文的阅读列表以及如何成为一个深度强化学习研究者，我认为对于深度强化学习的整体把握也是有很大帮助的。
  小伙伴们如果还知道到更好的学习资料，欢迎在评论区留言！