一、目的

        强化学习属于机器学习的一种，模型能从环境中获取奖励来训练，强化学习适用于决策问题。

        学习深度强化学习主要是为完成工业数据压缩与传输项目建模后如何解，其次是练习代码，所以边实现demo边学习，demo1是从github上找的大佬写的，demo1的地址为：GitHub - wangshub/RL-Stock: 📈 如何用深度强化学习自动炒股用深度强化学习自动炒股

二、实现与要点

1.基础模型

2.模型细化

Environment:股票市场

State:当日开盘价、收盘价

Action:买入、持有、卖出

Reward:用当前的利润作为奖励函数

<St->At->Rt>-><St+1->At+1->Rt+1>->...

3.安装依赖包

(我使用Linux实现)注意要先建虚拟环境，然后使用requirements.txt

pip install -r requirements.txt

报错：依赖冲突，修改原依赖包中的这三项gast==0.2.2、tensorboard==1.15.0、tensorflow-estimator==1.15.1后安装完成。

4.数据集

        1.下载

           python get_stock_data.py

          2.划分

        3.预处理

         部分特征的值，比如成交金额或者成交量，有可能百万、千万乃至更大，为了训练时网络收敛，观测的状态数据输入时，必须要进行归一化。

        个人理解原作者归一化把特征值映射到[0，1]间，不是readme里面说的[-1,1]，具体做法：

        self.df.loc[self.current_step, 'volume'] / MAX_VOLUME

        这里MAX_VOLUME = 1000e8

5.训练

初始本金10000块，测试模拟股票操作20天，最终盈利约129

6.改进