但现实很骨感:大部分储能系统的调度策略还是"固定时段充放电"——不看电价、不看新能源出力预测、不看成电池健康状态。
结果:收益没最大化,电池衰减还快。
低谷时段(0:00~8:00)充电,高峰时段(9:00~11:00、14:00~17:00)放电。
问题:电价是动态的(现货市场15分钟一个价),固定时段无法捕捉最有利的交易窗口。
策略2:规则控制(SOC阈值)
设定SOC上下限(如20%~90%),低于20%充电、高于90%放电。
问题:不考虑电价趋势(明天电价会更高,今天就不该放电)、不考虑电池衰减成本(深度充放电加速老化)。
核心矛盾:收益最大化 vs. 电池寿命最大化,是多目标优化问题,规则方法无法同时兼顾。
模型预测控制(MPC):考虑未来24~72小时的预测信息(电价预测、负荷预测、新能源出力预测),滚动优化调度决策。
两者结合(DRL+MPC):DRL学长期策略,MPC做短期修正,兼顾收益最大化和实时可调性。
• 电池SOC(State of Charge,剩余电量)
• 电池SOH(State of Health,健康状态)
• 当前电价(实时/日前市场)
• 当前负荷 + 新能源出力
预测信息:
• 未来24~72小时电价曲线(AI功率预测输出)
• 未来24~72小时负荷曲线
• 未来24~72小时新能源出力曲线
电池约束:
• SOC上下限(通常10%~95%)
• 最大充放电功率(C倍率约束)
• 电池衰减成本模型(循环次数 vs. 容量衰减)
• 充电功率 P_charge ∈ [0, P_max]
• 放电功率 P_discharge ∈ [0, P_max]
动作频率:15分钟/次(匹配电力市场交易时段)
约束处理:动作输出后,需检查是否满足电池约束(SOC范围、功率上限),不满足则裁剪。
Reward_1 = 放电收益 - 充电成本 = P_discharge × Price_t - P_charge × Price_t
目标2:电池寿命最大化
Reward_2 = - 电池衰减成本 = - f(SOC, 充放电倍率, 温度)
多目标融合:
Reward = w1 × Reward_1 + w2 × Reward_2
(w1、w2为权重,典型取值w1=0.7, w2=0.3)
关键:电池衰减成本是非线性的(深度充放电加速老化),AI会自动学到"避免深度充放电"的策略。
| 方法 | 适用场景 | 优势 | 局限 |
|---|---|---|---|
| DDPG | 连续动作空间 (充放电功率) |
适合连续控制,收敛稳定 | 超参数敏感 |
| SAC | 探索能力强场景 (电价波动大) |
最大熵RL,探索能力强,适合波动环境 | 训练慢 |
| MPC | 预测信息可靠场景 | 滚动优化,实时调整,约束处理强 | 依赖预测精度 |
| DDPG+SAC+MPC (混合) |
复杂场景(多目标+强约束) | 兼顾长期策略+短期修正+约束处理 | 工程复杂度高 |
DDPG(Deep Deterministic Policy Gradient):确定性策略,收敛更稳定,适合电价相对稳定的场景(如中长期合约市场)。
经验建议:现货市场试点地区用SAC,中长期市场用DDPG,预算充足用DDPG+SAC混合(SAC探索、DDPG精细化)。
• 建立电池衰减成本模型(循环次数 vs. 容量衰减,参考电池厂家Datasheet)
• 对接电力市场交易系统(获取实时/日前电价)
• 验收标准:数据完整率≥95%,电池模型误差≤5%
• 搭建仿真环境(Python+ gymnasium)
• 训练DRL模型(用历史数据回测)
• 验收标准:仿真环境收益提升≥20%(对比固定时段策略)
• 实现MPC滚动优化(15分钟滚动一次)
• DRL(长期策略)+ MPC(短期修正)协同
• 验收标准:实时调度延迟<5分钟,MPC优化收益提升≥5%
• 试运行(AI调度 + 人工监控)
• 根据实际运行数据持续迭代模型
• 验收标准:试点电站收益提升≥15%,电池衰减速度降低≥10%
| 维度 | 固定时段策略 | 规则控制(SOC阈值) | AI优化(DRL+MPC) |
|---|---|---|---|
| 年收益(100MWh电站) | 680万元 | 720万元(+5.9%) | 890万元(+30.9%) |
| 电池寿命 | 短(深度充放电) | 中 | 长(AI学会避免深度充放电) |
| 适应性 | 差(固定时段) | 中(简单规则) | 强(动态决策) |
| 工程复杂度 | 低 | 低 | 中高 |
SAC适合电价波动大的现货市场,DDPG适合中长期合约市场——选对算法,训练效果差30%以上。
电池衰减成本必须纳入奖励函数——只优化收益、不考虑寿命,短期看收益高,长期看电池提前报废,得不偿失。

夜雨聆风