摘要: 随着电力电子技术的发展以及高级量测体系的普及，传统配电网正转变为含有多类型分布式资源、调控手段更加丰富的主动配电网，在促进低碳清洁发展、提升运行效率、削峰填谷等方面具备极大的潜力。同时，配电网的安全经济运行也面临着新的挑战，分布式... 展开 随着电力电子技术的发展以及高级量测体系的普及，传统配电网正转变为含有多类型分布式资源、调控手段更加丰富的主动配电网，在促进低碳清洁发展、提升运行效率、削峰填谷等方面具备极大的潜力。同时，配电网的安全经济运行也面临着新的挑战，分布式可再生能源的随机性、间歇性以及需求侧资源的大量无序接入增加了潮流分布的不确定性，影响配电网的安全运行与可靠供电，配电网调控难度大幅提升。近年来，以深度强化学习为代表的人工智能技术飞速发展，其在海量数据特征提取、复杂映射关系学习以及在线连续决策等方面具有显著优势，被广泛应用于各个领域。因此，基于深度强化学习的主动配电网源荷储协调运行优化方法可望具有良好的应用前景。为充分发挥主动配电网内分布式资源的灵活性潜力，克服其随机性、不确定性、调控难度大等问题，本文从“源-储”协调、“荷”侧资源协调、“源-荷-储”协调三个角度逐渐深入，开展了主动配电网源荷储协调运行优化研究。本文的主要工作总结如下: (1)在挖掘主动配电网源侧灵活性方面，提出了一种考虑“源-储”协调的主动配电网分区多智能体协同运行优化方法。首先，构建了包含分布式可再生能源、分布式可控发电机、分布式储能的主动配电网“源-储”协调运行优化模型;接着，基于多智能体深度强化学习理论将该模型转化为马尔可夫博弈并构建区域智能体;最后，采用多智能体双延迟深层确定性策略梯度算法进行集中式训练，实现分布式部署。算例分析表明，所提方法能够通过探索学习形成有效应对配电网不确定因素的自适应策略，保证系统运行经济性，改善高比例分布式电源接入问题;此外，该方法具备在线决策优势，能够有效减轻主动配电网集中调控难度，并在一定程度的通信故障情况下保持决策稳健性。 (2)在挖掘主动配电网荷侧灵活性方面，以电动汽车为研究对象，提出了基于深度强化学习的电动汽车协同充电优化方法。首先，将电动汽车视为一个具有适应性的主体，为每辆电动汽车构建协同充电优化模型;接着，基于多智能体深度强化学习理论将该模型转化为马尔可夫博弈，并构建电动汽车智能体;最后，采用多智能体双延迟深层确定性策略梯度算法进行集中训练并实现分布式部署。算例分析表明，所提方法能够避免电动汽车群体的充电负荷深化负荷峰谷差、加剧负荷波动，同时有效降低电动汽车充电成本;此外，该方法能够应对电动汽车充电行为的不确定性，快速生成协同充电策略。 (3)在挖掘主动配电网“源-荷-储”协调灵活性方面，本文在上述研究的基础上，进一步提出了考虑“源-荷-储”协调的主动配电网分区多智能体协同运行优化方法。首先，综合考虑电气耦合度和功率匹配度提出了一种配电网分区方法;接着，构建了包含分布式电源、分布式储能、电动汽车、需求响应负荷的主动配电网“源-荷-储”协调运行优化模型，并基于多智能体深度强化学习理论将该模型转化为马尔可夫博弈并构建区域智能体;此外，考虑到配电网“源-荷-储”协调环境更加复杂，深度强化学习算法的探索难度提升，本研究基于门控循环网络和注意力机制对多智能体双延迟深层确定性策略梯度算法进行改进，并采用改进算法完成集中训练和分布式部署。算例分析验证了所提方法在促进主动配电网源荷储协调运行优化方面的有效性。 收起