Actor-Critic 算法理论推导

1. 符号定义

在开始推导之前，我们先明确以下符号：

符号	含义
$\pi (a|s;\mathbf{\theta })$	策略网络（Actor）：给定状态 $s$，输出动作 $a$ 的概率分布，参数为 $\mathbf{\theta }$
$q(s,a;\mathbf{w})$	价值网络（Critic）：评估状态-动作对 $(s,a)$ 的价值，参数为 $\mathbf{w}$
$V(s;\mathbf{\theta },\mathbf{w})$	状态价值函数：$V(s;\mathbf{\theta },\mathbf{w})={\sum }_a\pi (a|s;\mathbf{\theta })\cdot q(s,a;\mathbf{w})$
$d^{\pi }$	策略 $\pi$ 下的状态分布
${\alpha }_{\theta },{\alpha }_w$	Actor 和 Critic 的学习率

---

2. Actor 的更新推导（策略梯度）

2.1 优化目标

Actor 的目标是最大化期望累积回报，即最大化状态价值函数的期望：

$$J(\mathbf{\theta })={\mathbb{E}}_{s\sim d^{\pi }}[V(s;\mathbf{\theta },\mathbf{w})]$$

其中 $d^{\pi }$ 是策略 $\pi$ 下的状态分布。

2.2 策略梯度推导

我们的目标是计算 $\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}$，以便进行梯度上升。

步骤 1：展开状态价值函数

根据定义：
$$V(s;\mathbf{\theta },\mathbf{w})=\sum _a\pi (a|s;\mathbf{\theta })\cdot q(s,a;\mathbf{w})$$

对 $\mathbf{\theta }$ 求导：
$$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}=\frac{\partial }{\partial \mathbf{\theta }}\left[\sum _a\pi (a|s;\mathbf{\theta })\cdot q(s,a;\mathbf{w})\right]$$

步骤 2：应用乘积法则

$$\begin{array}{rl}\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}& =\sum _a\left[\frac{\partial \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot q(s,a;\mathbf{w})+\pi (a|s;\mathbf{\theta })\cdot \frac{\partial q(s,a;\mathbf{w})}{\partial \mathbf{\theta }}\right]\end{array}$$

步骤 3：简化表达式

由于 Critic 网络 $q(s,a;\mathbf{w})$ 的参数是 $\mathbf{w}$，不依赖于 $\mathbf{\theta }$，因此：
$$\frac{\partial q(s,a;\mathbf{w})}{\partial \mathbf{\theta }}=0$$

所以：
$$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}=\sum _a\frac{\partial \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot q(s,a;\mathbf{w})$$

步骤 4：应用对数导数技巧（Log-Derivative Trick）

利用恒等式：
$$\frac{\partial \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}=\pi (a|s;\mathbf{\theta })\cdot \frac{\partial \log \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}$$

代入得：
$$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}=\sum _a\pi (a|s;\mathbf{\theta })\cdot \frac{\partial \log \pi (a|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot q(s,a;\mathbf{w})$$

步骤 5：转换为期望形式

注意到上式是对所有动作 $a$ 的加权求和，权重为 $\pi (a|s;\mathbf{\theta })$，这正是期望的定义：
$$\frac{\partial V(s;\mathbf{\theta })}{\partial \mathbf{\theta }}={\mathbb{E}}_{A\sim \pi (\cdot |s;\mathbf{\theta })}\left[\frac{\partial \log \pi (A|s;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot q(s,A;\mathbf{w})\right]$$

2.3 Actor 更新规则

在实际训练中，我们使用采样的动作 $a_t$ 来近似期望，得到 Actor 的参数更新规则：

$$\boxed{\mathbf{\theta }\leftarrow \mathbf{\theta }+{\alpha }_{\theta }\cdot \frac{\partial \log \pi (a_t|s_t;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot q(s_t,a_t;\mathbf{w})}$$

直观理解：

• $q(s_t,a_t;\mathbf{w})$ 越大，说明动作 $a_t$ 越好，我们增大选择该动作的概率
• $q(s_t,a_t;\mathbf{w})$ 越小，说明动作 $a_t$ 越差，我们减小选择该动作的概率

---

3. Critic 的更新推导（TD Learning）

3.1 时序差分学习框架

Critic 的任务是评估状态-动作对的价值。我们使用时序差分（Temporal Difference, TD）方法来更新价值估计。

定义：

• 当前估计值：$q_t=q(s_t,a_t;\mathbf{w})$
• TD 目标：$y_t=r_t+\gamma \cdot q(s_{t+1},a_{t+1};\mathbf{w})$
• TD 误差：${\delta }_t=y_t-q_t=r_t+\gamma \cdot q(s_{t+1},a_{t+1};\mathbf{w})-q(s_t,a_t;\mathbf{w})$

3.2 损失函数

Critic 的目标是让当前估计值接近 TD 目标，使用均方误差（MSE）损失：

$$L(\mathbf{w})=\frac{1}{2}[y_t-q(s_t,a_t;\mathbf{w}){]}^2=\frac{1}{2}{\delta }_t^2$$

3.3 梯度计算

对损失函数求导：

$$\begin{array}{rl}\frac{\partial L(\mathbf{w})}{\partial \mathbf{w}}& =\frac{\partial }{\partial \mathbf{w}}\left[\frac{1}{2}(y_t-q(s_t,a_t;\mathbf{w}){)}^2\right]\\ & =(y_t-q(s_t,a_t;\mathbf{w}))\cdot \frac{\partial }{\partial \mathbf{w}}[y_t-q(s_t,a_t;\mathbf{w})]\\ & =(y_t-q(s_t,a_t;\mathbf{w}))\cdot \left(-\frac{\partial q(s_t,a_t;\mathbf{w})}{\partial \mathbf{w}}\right)\\ & =-{\delta }_t\cdot \frac{\partial q(s_t,a_t;\mathbf{w})}{\partial \mathbf{w}}\end{array}$$

注意：这里假设 TD 目标 $y_t$ 被视为常数（不对其求导），这是 TD 学习的标准做法。

3.4 Critic 更新规则

使用梯度下降法最小化损失：

$$\begin{array}{rl}\mathbf{w}& \leftarrow \mathbf{w}-{\alpha }_w\cdot \frac{\partial L(\mathbf{w})}{\partial \mathbf{w}}\\ & =\mathbf{w}-{\alpha }_w\cdot \left(-{\delta }_t\cdot \frac{\partial q(s_t,a_t;\mathbf{w})}{\partial \mathbf{w}}\right)\end{array}$$

最终得到：

$$\boxed{\mathbf{w}\leftarrow \mathbf{w}+{\alpha }_w\cdot {\delta }_t\cdot \frac{\partial q(s_t,a_t;\mathbf{w})}{\partial \mathbf{w}}}$$

直观理解：

• 当 ${\delta }_t>0$ 时，说明当前估计偏低，增大 $q(s_t,a_t;\mathbf{w})$
• 当 ${\delta }_t<0$ 时，说明当前估计偏高，减小 $q(s_t,a_t;\mathbf{w})$

---

4 算法流程

1. 初始化：随机初始化 Actor 参数 $\mathbf{\theta }$ 和 Critic 参数 $\mathbf{w}$
2. 循环：对于每个时间步 $t$：
   • 根据当前策略 $\pi (a|s_t;\mathbf{\theta })$ 选择动作 $a_t$
   • 执行动作，观察奖励 $r_t$ 和下一状态 $s_{t+1}$
   • 选择下一动作 $a_{t+1}\sim \pi (\cdot |s_{t+1};\mathbf{\theta })$
   • 计算 TD 误差：${\delta }_t=r_t+\gamma \cdot q(s_{t+1},a_{t+1};\mathbf{w})-q(s_t,a_t;\mathbf{w})$
   • 更新 Critic：$\mathbf{w}\leftarrow \mathbf{w}+{\alpha }_w\cdot {\delta }_t\cdot \frac{\partial q(s_t,a_t;\mathbf{w})}{\partial \mathbf{w}}$
   • 更新 Actor：$\mathbf{\theta }\leftarrow \mathbf{\theta }+{\alpha }_{\theta }\cdot \frac{\partial \log \pi (a_t|s_t;\mathbf{\theta })}{\partial \mathbf{\theta }}\cdot q(s_t,a_t;\mathbf{w})$