【研究】考虑多主体交互策略的综合能源系统P2P能-碳管理方法

微信扫码，打开到小程序

系统仿真学报 系统仿真学报© Journal of System Simulation 第 36 卷第 10 期 2024 年 10 月 Vol. 36 No. 10 Oct. 2024 考虑多主体交互策略的综合能源系统 考虑多主体交互策略的综合能源系统P2P能-碳管理方法 碳管理方法 王玉东，胡俊杰* (新能源电力系统国家重点实验室(华北电力大学)，北京 102206) 摘要 摘要：为探索能源服务商(energy service provider，ESP)参与下，多个IES间电、热、碳多能点对点 交易(peer-to-peer，P2P)与能量管理新模式，提出了一种考虑多主体交互策略的综合能源系统P2P 能-碳管理方法。构建了ESP和IES多主体参与下的双层能量管理框架。建立了双层电-热-碳能量 管理模型，上层模型基于强化学习框架，优化 ESP 和 IES 合作联盟之间的能量管理策略，下层模 型基于纳什谈判博弈理论，优化多个IES之间的合作运行策略。针对典型系统进行算例研究，分 析了P2P模式下综合能源系统最优能量管理策略，结果表明：所提能量管理方法能够有效进行电 热调度，实现系统的收益最大化，降低系统碳排放量。 关键词 关键词：综合能源系统；能源服务商；点对点交易；能量管理；合作运行 中图分类号：TP391 文献标志码：A 文章编号：1004-731X(2024)10-2488-15 DOI: 10.16182/j.issn1004731x.joss.23-0731 引用格式 引用格式: 王玉东, 胡俊杰. 考虑多主体交互策略的综合能源系统P2P能-碳管理方法[J]. 系统仿真学报, 2024, 36(10): 2488-2502. Reference format: Wang Yudong, Hu Junjie. Peer-to-peer Energy-carbon Management Method of Multiple Integrated Energy Systems Considering Multi-agent Interaction Strategy[J]. Journal of System Simulation, 2024, 36(10): 2488-2502. Peer-to-peer Energy-carbon Management Method of Multiple Integrated Energy Systems Considering Multi-agent Interaction Strategy Wang Yudong, Hu Junjie* (State Key Laboratory of Alternate Electrical Power System with Renewable Energy Sources (North China Electric Power University), Beijing 102206, China) Abstract: To explore a new energy management model of P2P transaction of electricity, heat and carbon among IES with the participation of ESP, a P2P energy-carbon management method of IES considering multi-agent interaction strategy is proposed. A two-layer energy management framework with the multi- agent participation of involving ESP and IES is established. A two-layer electricity-heat-carbon energy management model is constructed in which the upper model is constructed based on reinforcement learning framework to optimize the energy management strategy between ESP and IES cooperative alliance and the lower model is based on Nash negotiation game theory to optimize the cooperative operation strategy among multiple IESs. A typical system is taken as an example to analyze the optimal energy management strategy of IES under P2P mode. The results show that the proposed method can effectively conduct electricity-heat scheduling, maximize system benefits and reduce carbon emissions. Keywords: integrated energy system; energy service provider; peer-to-peer transaction; energy management; cooperative operation 收稿日期：2023-06-16 修回日期：2023-08-22 基金项目：国家自然科学基金(52177080) 第一作者：王玉东(1994-)，女，蒙古族，博士，研究方向为综合能源系统优化。 通讯作者：胡俊杰(1986-)，男，教授，博士，研究方向为需求侧资源聚合与调控。 第 36 卷第 10 期 2024 年 10 月 Vol. 36 No. 10 Oct. 2024 王玉东, 等: 考虑多主体交互策略的综合能源系统P2P能-碳管理方法 http: // www.china-simulation.com 0 引言 引言 为加快实现“双碳”和新型电力系统建设目 标，分布式电热灵活性资源广泛接入已经成为我 国电力系统的新常态。为充分挖掘海量电热分布 式资源的灵活调控潜力，综合能源系统应用而生， 其通过先进的调控技术聚合多元电热分布式资源 参与电力系统调度和能源市场交易 [1]。除了聚合内 部 的 灵 活 性 资 源 外 ， 多 个 综 合 能 源 系 统 (integrated energy system，IES)之间还可以在 ESP 协调下通过 P2P 能量交易和协同运行优化等方式 参与城市能源系统能量管理与运行优化 [2]。P2P能 源交易使能源网络的每个用户能够参与其他产品 和电网的能源交易，将能量富裕节点的能量直接 传输到供应不足的其他节点，从而优化了共享网 络中的能源分布不均衡的情况，提高能源系统运 行的经济性和灵活性 [1-3]。 针对IES之间的电、热等多能源P2P交易，文 献[4]为提高小规模能源在局域能源市场中的就地 消纳能力，设计了一种面向局域能源市场中多产 消者的 P2P 日前市场交易框架。文献[5]提出了一 种考虑Markov决策的产消者P2P电能交易非合作 博弈模型，解决了产消者多阶段 P2P 电能交易中 互动行为的强不确定性、状态转移概率不明晰等 问题。文献[6]针对电力 P2P 交易中计及社会福利 的产消者合作联盟，设计了一种依据产消者对联 盟社会福利贡献值分配合作剩余的机制。文献[7] 构建了计及 P2P 交易的多冷热电联供型微网联合 调度模型，进而提高微网调度策略的灵活性和经 济性。文献[8]提出了基于纳什谈判的智能园区 P2P 电能交易优化运行方法，设计了改进的自适 应交替方向乘子法模型求解算法。文献[9]提出了 一种基于改进周期性双向拍卖的分布式能源 P2P 交易模式，通过周期性双向拍卖交易模式中竞价 匹配机制的改进来应对交易成本导致的交易匹配 问题。文献[10]提出了一个由股权交易和能量交易 组成的 P2P 能量共享交易模型，优化产消者之间 的能量共享策略。文献[11]提出了基于合作博弈论 的 P2P 电力交易方法，旨在提高配电网管理的效 率，在降低电费的同时增加产消者间利益分配的 公平性。文献[12]构造了可交易能源系统在社区微 网运营中的应用场景，建立了适合含有分布式电 源和储能的社区微网用户之间的P2P交易模型。 除了提升系统运行的经济性和灵活性，降低 系统碳排放水平也是能量管理的重要目标之一。 目前，在降低系统碳排放的研究主要通过碳捕集、 低碳运行、碳市场交易等方式降低系统碳排放。 文献[13]提出了以提高经济性、降低弃风弃光、保 证环保性等为目标的主动配网分布式双层优化方 法，基于实时数据库建立仿真验证平台，并以 IEEE33 节点系统为例进行了算例分析。文献[14] 针对含微型燃气轮机的微电网，建立了低碳经济 优化调度模型，并通过仿真分析对建立模型的可 行性及改进算法的适用性和优越性进行了验证。 随着碳交易市场的不断完善，碳交易机制逐渐被 引入到能源系统的低碳经济优化管理中 [15]。文献 [1]建立了考虑阶梯式碳交易机制以及需求响应的 IES双层随机优化调度模型，仿真结果表明，在模 型中引入阶梯式碳交易机制之后，进一步有效降 低了系统的碳排放总量。文献[3]建立了 IES 碳排 放权计算模型，提出了基于 Stackelberg 博弈的多 IES之间“电-热-碳”共享方法。文献[16]考虑碳 交易机制，建立了“电-气-热”IES 优化模型， 并针对改进的多节点系统，利用CPLEX软件进行 仿真，验证了所提的阶梯式碳交易机制对降低系 统碳排放的有效性。文献[17]建立了含废物处理的 “电-热-气”IES，提出了一种基于碳交易机制的 系统低碳经济运行策略，并通过算例仿真验证了 所提模型和策略在提升可再生能源消纳和废物处 理能力的有效性。文献[18]针对园区多IES交易多 以单纯经济性为导向而忽略碳排放效益的问题， 设计了 P2P 电热能量交易与碳交易的耦合市场， 以期进一步实现园区低碳运营。文献[19]提出了一 种多虚拟电厂“电-碳-备用”P2P 交易方法，并 • 2489 • 第 36 卷第 10 期 2024 年 10 月 Vol. 36 No. 10 Oct. 2024 系统仿真学报 Journal of System Simulation http: // www.china-simulation.com 采用条件风险价值理论量化新能源随机性带来的 潜在风险。文献[20]考虑各园区主体的利益诉求， 建立了基于合作博弈的主体低碳经济调度方法， 并针对 4 种运行模式进行了仿真分析，验证了模 型的有效性。文献[21]构建了多 ESP 参与联合 “电 - 碳 ” P2P 市 场 的 双 层 模 型 ， 提 出 了 基 于 ADMM算法的模型求解和仿真分析方法。 现有研究并未对同时考虑IES间“电-热-碳” P2P交易、多IES与ESP能量交互的多系统能量管 理问题进行研究。因此，本文考虑多个 IES 间的 “电-热-碳”P2P 交互策略，建立了强化学习-纳 什议价相结合的ESP和多IES双层能量管理模型， 外层通过强化学习模型优化 ESP 和 IES 联盟之间 的最优定价策略，内层通过纳什议价模型优化IES 联盟内部的“电-热-碳”P2P 交易策略，通过内 外层模型迭代优化，在降低系统碳排放的同时， 提升系统运行的经济性。 1 系统结构及能量管理框架 系统结构及能量管理框架 1.1 多能系统结构 多能系统结构 本文所研究的多 IES 能源系统涉及到的主体 包括城市能源系统(urban energy system，UES)、 ESP，以及各 IES。图 1 为多 IES 能源系统的典型 结构。在能源供给侧，ESP作为独立于UES和IES 的第三方公司，为IES提供供能服务和管网服务。 ESP 向 UES 购买电能和热能，通过优化内部电、 热价格，引导各 IES 参与能量管理。在能源需求 侧，各 IES 之间通过配电网电力线路和热网热力 管道互联，可以进行P2P电热能交易。各IES根据 ESP 的电热价格，优化内部多能耦合设备运行策 略以及IES间的“电-热-碳”P2P交易策略，确定 IES和ESP之间的最佳电热交互功率。 IES 中 的 多 能 耦 合 设 备 包 括 热 电 联 产 (combined heat and power，CHP)、分布式光伏发 电 (photovoltaics， PV)、 电 锅 炉 (electric boiler， EB)、燃气锅炉(gas boiler，GB)、电储能(electric energy storage，EES)、热储能(heat energy storage， HES)。各 IES 拥有独立的能量管理中心，可以对 ESP 的电热价格、IES 间的 P2P 交易策略做出响 应，优化自身运行策略。 1.2 双层能量管理框架 双层能量管理框架 基于上述能量交互特性，本节建立了双层的 ESP-多IES能量管理框架，如图2所示。 图 1 多IES能源系统的典型结构 Fig. 1 Typical structure of multiple IESs system • 2490 • 第 36 卷第 10 期 2024 年 10 月 Vol. 36 No. 10 Oct. 2024 王玉东, 等: 考虑多主体交互策略的综合能源系统P2P能-碳管理方法 http: // www.china-simulation.com 外层模型以综合能源服务商 ESP 作为 Agent， 以 ESP 设定的电、热交易价格作为 Action，以多 个 IES 为 Environment，以多 IES 的电热负荷需求 为 State，建立了基于强化学习框架的 ESP-多 IES 能量管理模型，如图3所示。 内层模型以多 IES 合作联盟作为优化对象， 基于 ESP 的电热最优价格，以联盟效益最大为目 标，优化 IES 中的设备运行策略和 IES 间的 P2P “能量-碳”交易策略，并向 ESP 反馈最优的电热 负荷需求。 2 ESP及IES效益模型 效益模型 2.1 ESP效益模型 效益模型 ESP是能量管理的协调者，根据UES的电热价 格，优化与IES间的电热零售价格，引导IES参与 系统能量管理，同时为IES间的P2P电热能量交易 提供管网服务 [22-23]。ESP的综合效益模型以运行效益 最大化为目标函数，考虑了与UES间的电热交互收 益、与IES间的电热交互收益、管网服务收益。 max RESP t =∑ i =1 I (μeser t |P etra it |+ μhser t |P htra it |)+ μebuy UEStP ebuy UESt - μesell UEStP esell UESt - μhsell UEStP hsell UESt + ∑ i =1 I (μesell ESPtP esell it + μhsell ESPtP hsell it )- ∑ i =1 I (μebuy ESPtP ebuy it + μhbuy ESPtP hbuy it ) (1) 式中：RESP t 为 ESP 综合效益；I 为 IES 数量；μeser t 和 μhser t 为 ESP 的电、热管网服务价格；P etra it 和 P htra it 为 IES 之间的电和热交易功率；μebuy UESt 为 UES 从ESP购电的价格；μesell UESt和μhsell UESt为UES向ESP售 电和售热的价格；P ebuy UESt为ESP出售给UES的电功 率；P esell UESt和P hsell UESt为ESP从UES购入的电热功率； μesell ESPt 和 μhsell ESPt 为 ESP 向 IES 售电和售热的价格 ； μebuy ESPt 和 μhbuy ESPt 为 ESP 从 IES 购电和购热的价格 ； P esell it 和 P hsell it 为 ESP 向 IES 出售的电和热功率 ； P ebuy it 和P hbuy it 为ESP从IES购买的电和热功率。 公式(2)~(5)定义了 ESP 的运行约束，包括和 UES之间的功率约束以及ESP价格约束。 -P esell UESmax ≤ P esell UESt ≤ P esell UESmax (2) 0 ≤ P hsell UESt ≤ P hsell UESmax (3) 0 ≤ μesell ESPt ≤ μesell UESt (4) 0 ≤ μhsell ESPt ≤ μhsell UESt (5) 式中：P esell UES max 和 P hsell UES max 为 ESP 和 UES 之间电和 热能的最大传输功率。 图 3 基于强化学习的外层模型框架 Fig. 3 Outer energy management framework based on RL 图 2 ESP-多IES能量管理框架 Fig. 2 Energy management framework between ESP and IESs • 2491 • 第 36 卷第 10 期 2024 年 10 月 Vol. 36 No. 10 Oct. 2024 系统仿真学报 Journal of System Simulation http: // www.china-simulation.com 2.2 IES效益模型 效益模型 IES效益模型以综合运行成本最小为目标，本 节考虑碳市场交易价格的不确定性对系统经济运 行的影响，通过条件风险价值(conditional value at risk，CVaR)来衡量风险成本 [24-25]，其函数为 min C IES it = C EX it + LC CVaR it (6) C EX it = ∑ s = 1 S psC op sit (7) C CVaR it = α + 1 (1 - β)S∑ s = 1 S ps[C op ist - α]+ (8) [C op ist - α]+ = ì í î ï ï