【强化学习-04】Actor-critic algorithm

Actor-critic algorithmActor-critic algorithmValue network and policy network训练神经网络Summary本笔记整理自 (作者: Shusen Wang):https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&

刘兴禄

930人浏览 · 2022-01-27 17:40:34

刘兴禄 · 2022-01-27 17:40:34 发布

Actor-critic algorithm

Actor-critic algorithm
- Value network and policy network
- 训练神经网络
Summary

本笔记整理自 (作者: Shusen Wang):
https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0

Actor-critic algorithm

在这里插入图片描述

Value network and policy network

注意这里的符号

$\pi(a|s)$ : 指的是policy分布，是精确的分布，只是我们不知道具体形式

$\pi(a|s, \theta)$ : 指的是用一个神经网络去近似 $\pi(a|s)$ ，其中 $\theta$ 是神经网络的参数。

$Q_{\pi}(s, a)$ : 是指策略函数为 $\pi$ ，状态为 $s$ , 动作为 $a$ 的时候的动作价值函数。

$\mathbf{w})$ : 指用一个神经网络 $\mathbf{w})$ 去近似动作价值函数 $Q_{\pi}(s, a)$ 。其中 $\mathbf{w}$ 是神经网络的参数。

在这里插入图片描述

输入：可以是一帧或者好几帧frame

在这里插入图片描述

注意，value network $\mathbf{w})$ 可以和策略网络 policy network $\pi(s, a; \theta)$ 共享相同的卷积层 conv, 但是也可以是完全独立的，各自有各自的参数。

同时训练 value network $\mathbf{w})$ 和策略网络 policy network $\pi(s, a; \theta)$ 就叫做Actor critic algorithm.

训练的目的，是让运动员的平均分越来越高，并且让裁判的评分越来越精准

在这里插入图片描述

训练神经网络

在这里插入图片描述

注意：value network只是起辅助作用，训练完成之后就不再被用了。最后被使用的还是policy network.

Summary

在这里插入图片描述

魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

替你试过了，消费级显卡可以跑的开源文生图SOTA模型，顶级渲染、高密度文本绘图

魔乐社区

量化挑战赛冠军专访：4小时啃下W4A8量化，我靠的是这些经验

魔乐社区

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模