目录

1. 引言

2. 数学推导

3. 算法

1. 引言

我们上次已经介绍了Saras算法，现在我们来学习一下和Saras算法非常相似的一个算法:

Q-learning算法。

Q-learning是一种用于机器学习的强化学习技术。 Q-learning的目标是学习一种策略，告诉Agent在什么情况下要采取什么行动。 它不需要环境模型，可以处理随机转换和奖励的问题，而无需进行调整。

对于任何有限马尔可夫决策过程（FMDP），Q学习找到一种最优的策略，即从当前状态开始，它在任何和所有后续步骤中最大化总奖励的预期值。在给定无限探索时间和部分随机策略的情况下，Q学习可以为任何给定的 FMDP 确定最佳动作选择策略。“Q”命名函数返回用于提供强化的奖励，并且可以说代表在给定状态下采取的动作的“质量”。

Q-learning算法与Saras算法区别在于Q-learning是学习最优动作价值函数 Q^*，而Saras是学习动作价值函数 Q_{\pi}。

2. 数学推导

我们上次推导出了动作价值函数的递推公式Q_{\pi}(s_t,a_t)=E[R_t+\gamma Q_{\pi}(S_{t+1},A_{t+1})]，现在我们选取最优策略\pi^*，由最优动作价值函数的定义，我们得到Q^*(s_t,a_t)=E[R_t+\gamma Q^*(S_{t+1},A_{t+1})]

对于含有随机变量的Q^*(S_{t+1},A_{t+1})我们先将其写成最大化的形式，由优化目标我们有：A_{t+1}=\underset{a}{argmax}\,Q^*(S_{t+1},a)

于是得到 

Q^*(S_{t+1},A_{t+1})=\underset{a}{max}\,Q^*(S_{t+1},a)

那么

Q^*(s_t,a_t)=E[R_t+\gamma \underset{a}{max}\,Q^*(S_{t+1},a)]

这个式子中含有随机变量R_t,S_{t+1}，我们使用蒙特卡罗算法来近似这个期望：由r_t\approx R_t,s_{t+1}\approx S_{t+1}

我们得到 

Q^*(s_t,a_t)\approx E[r_t+\gamma \underset{a}{max}\,Q^*(s_{t+1},a)]

于是我们将 

r_t+\gamma \underset{a}{max}\,Q^*(s_{t+1},a) 作为TD target 使用TD 算法具体步骤如下：

  1. 观测到state transtition (s_t,a_t,r_t,s_{t+1})
  2. 计算TD target y_t=r_t+\gamma \underset{a}{max}\,Q^*(s_{t+1},a)
  3. 计算TD error \delta_t=Q^*(s_t,a_t)-y_t
  4. 更新最优动作价值函数Q^*(s_t,a_t)\leftarrow Q^*(s_t,a_t)-\alpha \delta_t

上面的 \underset{a}{max}\,Q^*(s_{t+1},a) 可以从Q表中获取，我们只需要从第s_{t+1}行搜索出最大的Q^*(s_{t+1},a)即可

3. 算法

  1.  用神经网络 q(s,a;w) 来近似Q^*(s,a)
  2. 计算TD target: y_t=r_t+\gamma q_(s_{t+1},a_{t+1};w)
  3. 计算TD error: \delta_t=q(s,a;w)-y_t
  4. 损失函数loss：\frac{\delta_t^2}{2}
  5. 梯度下降: w\leftarrow w-\alpha\delta_t\frac{\partial \,q(s,a;w)}{\partial \,w}

伪码如下

# 深度学习
Logo
魔乐社区

魔乐社区（Modelers.cn) 是一个中立、公益的人工智能社区，提供人工智能工具、模型、数据的托管、展示与应用协同服务，为人工智能开发及爱好者搭建开放的学习交流平台。社区通过理事会方式运作，由全产业链共同建设、共同运营、共同享有，推动国产AI生态繁荣发展。

更多推荐

cover

全家桶集齐！Qwen3.5四款小模型上线魔乐社区，附昇腾全套实践教程

avatar 魔乐社区

Pont - 搭建前后端之桥：高效、灵活的接口管理工具

Pont 是一款强大的数据服务层解决方案，它能够帮助开发者快速搭建前后端之间的桥梁，实现接口的高效管理和代码自动生成。无论是新手还是有经验的开发者，都能通过 Pont 轻松处理接口文档、生成类型安全的 API 代码，从而显著提升开发效率。[![Pont 工具标志](https://raw.gitcode.com/gh_mirrors/po/pont/raw/3f1b7d4bbba3fd2dda

avatar 魔乐社区

如何快速上手 hvac：HashiCorp Vault Python 客户端零基础入门指南

**hvac** 是 HashiCorp Vault 的 Python 3.X 客户端库，专为开发者提供简单高效的 Vault 交互方式。无论你是需要管理密钥、配置身份验证，还是实现安全的秘密数据存储，hvac 都能帮助你轻松搞定 Vault 的各项操作。本文将带你零基础快速入门，从安装到基础操作，让你在几分钟内即可上手使用这个强大的工具。[![hvac 客户端 Logo](https://r

avatar 魔乐社区