【强化学习-05】AlphaGo

Policy-based reinforcement learningPolicy NetworksBehavior CloningTrain policy network using Policy gradientTrain the value networkMente Carlo Tree Search本笔记整理自 (作者: Shusen Wang):https://www.bilibili.

刘兴禄

497人浏览 · 2022-01-27 21:53:29

刘兴禄 · 2022-01-27 21:53:29 发布

Policy-based reinforcement learning

Policy Networks
- Behavior Cloning
- Train policy network using Policy gradient
Train the value network
Mente Carlo Tree Search

本笔记整理自 (作者: Shusen Wang):
https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0

在这里插入图片描述

在这里插入图片描述

Policy Networks

在这里插入图片描述

在这里插入图片描述

Behavior Cloning

在这里插入图片描述

Behavior cloning: 是一种模仿学习，模仿学习和强化学习的主要区别在于：有没有奖励
没有奖励就是模仿学习，有奖励是强化学习

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

behavior cloning其实就是多分类，有361个类，其中label就是人类的下法。

在这里插入图片描述

如果策略网络没有见过 $a_t$ ，策略网络就无法识别，就会失效。因此下一步 $a_{t+1}$ 就会更奇怪。

Train policy network using Policy gradient

在这里插入图片描述

player: 根据reward来更新policy network
强化学习用奖励来更新网络
模仿学习没有奖励

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

Train the value network

在这里插入图片描述

在这里插入图片描述

Mente Carlo Tree Search

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

cover

替你试过了，消费级显卡可以跑的开源文生图SOTA模型，顶级渲染、高密度文本绘图

cover

量化挑战赛冠军专访：4小时啃下W4A8量化，我靠的是这些经验

小参数・大码力・易部署 | Qwen3.6-27B上线魔乐社区，基于昇腾的部署教程来了

继一周前模型开源发布后，千问再度开源Qwen3.6-27B —— 一个拥有270亿参数的稠密多模态模型，也是社区呼声最高的模型规格。Qwen3.6-27B 依然支持多模态思考与非思考模式，在智能体编程方面达到了旗舰级表现，全面超越前代开源旗舰 Qwen3.5-397B-A17B（总参数397B / 激活参数17B的MoE模型）。作为稠密架构，它无需MoE路由即可部署，是开发者在实用、可广泛部署规模

所有评论(0)

查看更多评论

刘兴禄

已为社区贡献6条内容