(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210600190.5 (22)申请日 2022.05.27 (71)申请人 国网电力科 学研究院武汉能效测评 有限公司 地址 430074 湖北省武汉市洪山区珞 瑜路 143号 申请人 国网电力科 学研究院有限公司 　 国网江苏省电力有限公司营销服 务 中心　 国网江苏省电力有限公司 　 国家电网有限公司 　 南瑞集团有限公司 (72)发明人 齐蓓　朱亮亮　郭松　胡文博　 余梦　杨斌　王忠东　苏慧玲　 杨世海　(74)专利代理 机构 武汉开元知识产权代理有限 公司 42104 专利代理师 李满　王亚萍 (51)Int.Cl. G06F 30/13(2020.01) G06F 30/27(2020.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06Q 50/08(2012.01) (54)发明名称 一种面向含多负荷的楼宇的边端协同能效 提升方法、 系统及存 储介质 (57)摘要 本发明公开了一种面向含多负荷的楼宇的 边端协同能效提升方法、 系统及存储介质。 过程 为： 构建基于强化学习的能效提升智 能体模型； 采集建筑楼 宇用户的历史用电数据； 利用历史用 电数据对智能体模型进行训练； 将训练好的新模 型输入到建筑楼宇内部的边缘计算单元， 形成由 用户随机负荷、 可调负荷、 控制终端和边缘计算 单元构成的本地能效优化体系， 通过本地能效化 体系参与建筑楼宇的能源调度实现能效提升。 本 发明利用的边端技术， 构建建筑楼 宇的能源调度 策略， 降低了边缘计算单元的计算要求， 提升了 能源效率。 权利要求书2页 说明书7页 附图2页 CN 114818088 A 2022.07.29 CN 114818088 A 1.一种面向含多负荷的楼宇的边端协同能效提升方法， 其特 征在于： 构建基于强化学习的能效提升智能体模型； 采集建筑楼宇用户的历史用电数据； 利用历史用电数据对智能体模型进行训练； 将训练好的新模型输入到建筑楼宇内部的边缘计算单元， 形成由用户随机负荷、 可调 负荷、 控制终端和边缘计算单元构成的本地能效优化体系， 通过本地能效化体系参与建筑 楼宇的能源调度。 2.根据权利要求1所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在于： 所述历史用电数据包括建筑楼宇各时段 的用电总量、 可再生能源的发电量、 重点负荷的工 作状态。 3.根据权利要求1所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在于： 利用神经网络搭建智能体的主体结构， 设定建筑楼宇中可供智能体观测的状态量并作为主 体结构的输入， 以建筑楼宇中的可控负荷的控制动作作为主体结构的输出， 以用电成本最 小化目标作为主体结构的优化方向构建基于强化学习的能效提升智能体模型。 4.根据权利要求3所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在于： 将用电成本最小化 目标化为离散时间的形式， 在某一离散时间段内， 将该时段的用电成本 形成奖励函数输入至主体结构。 5.根据权利要求4所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在于： 所述奖励函数为： 其中， rt为t时刻的奖励值； 为t时刻用户的舒适度成本； α 为舒适度成本的折扣系数； pt为t时刻的电价； 为t时刻的楼宇总耗能； t为离 散时间序号。 6.根据权利要求1所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在于： 对智能体模型进行训练的过程 为： 1)初始化智能体模型中的策略网络 πθ和价值网络vω； 2)构建建筑楼宇仿真模型E(at)并初始化； 3)从数据集中按时间先后顺序读取t时刻的状态量st； 4)将状态量输入策略网络， 然后输出控制动作； 5)将控制动作输入建筑楼宇仿真模型E(at)， 并计算得 出t+1时刻的状态量st+1； 6)根据t+1时刻的状态量st+1计算t时刻的奖励值rt； 7)将t时刻的 的状态量st、 控制动作at、 奖励值rt和t+1时刻的状态量st+1存储到缓存区； 8)重复以上步骤3)～7)直至缓存区满； 9)对缓存区进行 随机采样， 根据采样数据分别计算策略网络πθ和价值网络vω的损失函 数Lπ( θ )和Lv(ω)； 10)根据损失函数Lπ( θ )和Lv(ω)更新策略网络 πθ和价值网络vω的参数； 11)清空缓存区并重复以上步骤3)～10)直至奖励值收敛即完成训练。 7.根据权利要求6所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在于： 所述策略网络和价 值网络的损失函数分别通过以下公式确定：权　利　要　求　书 1/2 页 2 CN 114818088 A 2其中， Lπ( θ )为策略网络的损失函数； Lv(ω)为价值网络的的损失函数； E[ ]表示对括号 内求期望； Lf( θ )为策略网络的目标函数； c1为策略的熵的超参数； H为策略的熵； vω(st)为价 值网络的输出； γ为折扣因子； l为时间序列标记； rt+l为第t+l时刻的奖励值； T为离散时间 序列长度； t为离 散时间序号。 8.根据权利要求6所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在于： 所述楼宇仿真模型包括储能设备的仿真模型： SoCt+1＝SoCt+( δch·Ptch‑1/ δdis·Ptdis)ΔT/Emax 其中， SoCt+1为t+1时刻储能设备的荷电状态； SoCt为t时刻储能设备的荷电状态； δch和 Ptch分别为储能设备充电效率和充电功率； δdis和Ptdis分别表示储能设备的放电效率和放电 功率； Emax为储能设备容 量； ΔT为时间 间隔。 9.根据权利要求6所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在于： 所述楼宇仿真模型包括空调的仿真模型： Tt+1＝ εTt+(1‑ε )(Ttout+ η/A·PtAC·ΔT) 其中， Tt+1为t+1时刻的室内温度； Tt为t时刻的室内温度； ε为折算因子； Ttout为t时刻的 室外温度； η为热力转化系数； A为建筑整体的热传导率； PtAC为t时刻的暖通空调的工作功 率； ΔT为时间 间隔。 10.根据权利要求1所述的面向含多负荷的楼宇的边端协同能效提升方法， 其特征在 于： 所述本地能效化体系参与建筑楼宇的能源调度的过程 为： 所述控制 终端获取建筑楼宇的状态， 并将其上传至边缘计算单元， 所述状态包括用户 随机负荷量、 可调设备的运行状态； 所述边缘计算单元根据状态输出可调负荷的控制动作， 并将所述控制动作输出至控制 终端； 所述控制终端执 行所述控制动作。 11.一种用于实现权利要求1 ‑10任意一项所述面向含多负荷的楼宇的边端协同能效提 升方法的系统， 其特 征在于： 包括 数据采集模块， 用于采集建筑楼宇用户的历史用电数据； 模型构建模块， 用于构建基于强化学习的能效提升智能体模型； 训练模块， 用于利用历史用电数据对智能体模型进行训练； 能源调度模块， 用于将训练好的新模型输入到建筑楼宇内部的边缘计算单元形成由用 户随机负荷、 可调负荷、 控制终端和边缘计算单元构成的本地能效优化体系， 通过本地能效 化体系参与建筑楼宇的能源调度。 12.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于： 所述计算机程序被处 理器执行时实现如权利要求1至10任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114818088 A 3