1. 基于策略的算法

Q-learning、DQN都是基于动作价值函数的更新来推导最优策略的，即每次更新并不存在一个显示的策略，这个策略是随着Q值的更新而更新的，这是基于价值的方法。

基于策略的方法则是存在一个显式的目标策略（使该策略下的动作价值函数期望最大），通过神经网络从每次和环境交互的数据中不断逼近该策略，即神经网络是对策略进行建模，输入是状态，输出是动作的概率分布。

2. 策略梯度算法

目标函数定义为：

每次数据训练后，使用梯度上升的方法更新：

其中Q值使用蒙特卡洛方法得到：