主要内容   

该程序借助深度 Q 网络（DQN），学习预测负荷、风 / 光可再生能源功率输出及分时电价等环境信息，运用所学策略集对微能源网能量进行管理，该方法属于模型无关的价值型智能算法。

程序以能量总线模型为基础，搭建微能源网研究框架和设备模型。借助于强化学习框架、Q 学习及 DQN 算法的基础理论，分析经验回放与冻结参数机制对 DQN 性能的提升作用，最终以经济性为导向，实现微能源网的能量管理与优化。程序采用python代码编写，注释清楚，复现效果好！

为了方便大家更好的对照文献学习，整理了一版程序代码复现和文献的具体对应关系图。

  程序要点   

2.1 微能源网系统组成

该系统为微型综合能源系统，能将多类能源以能量转换和储存等方式与不同类型负荷进行关联。

2.2 强化学习及Q学习算法

强化学习是指从环境状态到动作策略集的学习，以使得动作从环境中获得的累计奖励最大，学习的过程，如下图所示。本质上，智能体与环境的互动是一种马尔科夫决策过程(markov decision process，MDP)。MDP 一般由一个四元组(S, A, R, pi)定义。

Q 学习(Q-learning)是一种不基于环境模型、基于价值的强化学习算法。Q 学习的主要思路是定义状态动作价值函数，即 Q 函数，将观测数据代入到以下更新公式中对 Q 函数进行迭代学习。

深度 Q 网络创新性地把 Q 函数通过价值函数近似方法进行转换。具体而言，这种方法利用深度神经网络强大的函数拟合能力，将 Q 函数映射为一个深度神经网络。该神经网络以状态作为输入，经过多层神经元的计算和特征提取，输出对应每个动作的 Q 值估计。经过转换，深度神经网络能够以一种紧凑且高效的方式表示 Q 函数，使得智能体可以在大规模的状态和动作空间中快速学习和决策，极大地拓展了强化学习在复杂现实场景中的应用范围。

  部分代码   

plt.figure()    plt.plot(reward_history, color='#2ca02c', lw=1.5)    plt.title('训练奖励曲线')    plt.xlabel('训练周期')    plt.ylabel('平均奖励')    plt.grid(True, alpha=0.3)    # 2. 发电单元功率    plt.figure()    plt.plot(operation_data['MT'], color='#ff7f0e', marker='o', markersize=4)    plt.title('联供机组出力')    plt.xlabel('时间 (h)')    plt.ylabel('功率 (kW)')    plt.xticks(range(0, 24, 4))    plt.grid(True, alpha=0.3)    # 3. 电网交互功率    plt.figure()    plt.bar(range(23), operation_data['Grid'], color='#1f77b4')    plt.title('电网购电功率')    plt.xlabel('时间 (h)')    plt.ylabel('功率 (kW)')    plt.xticks(range(0, 24, 4))    plt.grid(True, alpha=0.3)    # 4. 蓄电池调度    plt.figure()    batt_power = np.array(operation_data['Batt'])    charge = np.where(batt_power < 0, -batt_power, 0)    discharge = np.where(batt_power > 0, batt_power, 0)    plt.bar(range(23), charge, color='#9467bd', label='充电')    plt.bar(range(23), -discharge, color='#d62728', label='放电')    plt.title('蓄电池调度')    plt.xlabel('时间 (h)')    plt.ylabel('功率 (kW)')    plt.xticks(range(0, 24, 4))    plt.legend()    plt.grid(True, alpha=0.3)

 运行结果  

下载链接