Review：两种机器学习类型

预测

根据数据预测所需输出（有监督学习）

生成数据实例（无监督学习）

决策

在动态环境中采取行动（强化学习）

     转变到新的状态

     获得即时奖励

     随着时间的推移最大化累计奖励

1.强化学习定义

通过从交互中学习来实现目标的计算方法

三个方面

感知：在某种程度上感知环境的状态

行动：可以采取行动来影响状态或者达到目标

目标：随着时间推移最大化累计奖励

强化学习的交互过程

强化学习系统要素

1.历史（History）是观察,行动和奖励的序列

2.状态（state）是一种接下来会发生的事情（行动，观察，奖励）的信息。

~状态是历史的函数

St=f（Ht）

3.策略（policy）是学习智能体在特定时间的行为方式

随机策略本身是一个条件概率分布，确定性策略其实就是实打实的函数。

4.奖励（Reward）

一个定义强化学习目标的标量

能立即感知到什么是“好”的

5.状态价值（Value Function）

状态价值是一个标量，用于定义对于长期来说什么是“好”的

6.环境模型

举例：迷宫

强化学习智能体分类

~基于模型的强化学习：有环境模型，例如迷宫游戏，围棋

~模型无关的强化学习：没有环境模型，Atrai Games

~基于价值：没有策略，价值函数

~基于策略：策略，没有价值函数

~Actor-Critic：策略，价值

 2.强化学习探索与利用

 序列决策任务中的一个基本问题

基于目前策略获取最优收益还是尝试不同的决策

~Expoitation执行能够获取最优收益的决策

~Exporation尝试更多可能得决策，不一定是最优收益

策略探的一些原则

多臂老虎机

多臂老虎机（Multi-Armed Bandit, MAB）是一个经典的理论问题，它在机器学习、统计学和决策理论中都有应用。这个问题的名称来源于赌博中的老虎机，但在这里它是一个比喻，用来描述一个决策过程，其中决策者需要在多个选项中做出选择，以最大化某种收益。

优化策略用来来获得最大化累计时间的收益。

收益估计

Rwgret函数

 

3.MDP

Markov Decision Process

提供了一套为结果部分随机，部分在决策者的控制下的决策过程建模的数学框架

 MDP形式化地描述了一种强化学习环境

~环境完全可预测

即，当前状态可以完全表征过程（马尔科夫性质）

MDP五元组

MDP的动态

1.从状态S0开始

2.智能体选择某个动作

3.智能体得到奖励R

4.MDP随机转移到下一个状态S1

~这个过程不断执行，直到终止状态ST出现为止

~在大部分情况下，奖励只和状态相关

比如，在迷宫游戏中奖励之和位置相关

在围棋中，奖励只基于最终所围地的大小有关

 4.基于动态规划的强化学习

MDP目标和策略

目标：选择能够最大化累计奖励期望的动作

价值函数的Bellman等式

给定起始状态和根据策略π采取动作时的累计奖励期望

最优价值函数

在强化学习（Reinforcement Learning, RL）中，最优价值函数是一个核心概念，它描述了在给定策略下，从某一状态开始所能获得的期望回报的最大化值。

价值迭代和策略迭代

可以对最优价值函数和最优策略执行迭代更新

价值迭代

分为同步和异步价值迭代

~同步的价值迭代会储存两份价值函数的拷贝

~异步的价值迭代只存储一份价值函数

策略迭代

其中a步骤开销很大

~1.价值迭代是贪心更新法。

2.策略迭代中，用Bellman等式更新价值函数代价很大

3.对于空间较小的MDP，策略迭代通常很快收敛

4.对于空间较大的MDP，价值迭代更实用（效率更高）

5.如果没有状态转移循环，最好使用价值迭代

 5.基于模型的强化学习

学习一个MDP模型

目前我们关注在给出一个已知MDP模型后：（也就是说，状态转移和奖励函数明确给定后）

~计算最优价值函数

~学习最优策略

在实际问题中，状态转移和奖励函数一般不是明确给出的

从“经验”中学习一个MDP模型

学习模型&优化策略

算法

1.随机初始化策略π

2.重复一下过程直到收敛

~另一种解决方式是不学习MDP，从经验中直接学习价值函数和策略

~也就是模型无关的强化学习（Model-free Reinforcement Learning）