值迭代

  通过上一章的学习，我们知道了贝尔曼最优方程的求解实际上分两部分，一是给定一个初始值 $v_k$ 找到最优策略 ${\pi }_{k+1}$ ，二是更新 $v_{k+1}$

  下面，我们将详细剖析这个算法，以及其编程实现。首先，我们来看一下他的第一步：策略更新

  通过给定的 $v_k$ 可以求得每个状态对应的 $q_k$ 再根据概率设计得到最优策略下对应的行为 $a_k^{\ast }(s)$

  第二步：值更新，同样的，通过给定的 $v_k$ 求得每个状态对应的 $q_k$ 再根据最优策略计算得到 $v_{k+1}$

通过上面的讲解，我们得到下面的流程过程：

给出上述算法的伪代码，如下：

值迭代：案例

  我们以一个例子加深理解。$r_{边界}=r_{陷阱}=-1，r_{终点}=+1，\gamma =0.9$

当 $k=0$

策略迭代

  策略迭代分两步：策略评估 $(PE)$ 和策略优化 $(PI)$。

  求解 $v_{\pi k}$ 有两种方法，第一种矩阵求解一般不用，主要是用第二种迭代的方法。

  策略迭代具体步骤如下：

伪代码如下：

策略迭代：案例

  同样，我们以一个例子加深理解。$r_{边界}=-1，r_{终点}=+1，\gamma =0.9$，行为有：向左 $a_l$，向右 $a_r$，原地 $a0$

策略迭代：案例二

截断策略迭代算法

  首先我们来比较一下值迭代与策略迭代的区别：

伪代码：