一、研究背景
新一代人工智能（AI 2.0）近年来成为国内外研究的热点，其结合大数据、超级计算等新理论新技术正深刻影响和改变整个世界的电力与能源产业，并在涵盖智能电网与能源互联网的能源与电力系统（EEPS）中发挥巨大潜力，将驱动电力、能源和信息产业的深度融合，形成具有“智慧思维”和“信息-物理-社会融合（CPSS）”的EEPS，开启未来基于“工业4.0”、“能源5.0”、“AI 2.0+”的“智慧EEPS(Smart-EEPS)”新时代。
当前，国外纷纷制定人工智能（AI）发展计划以抢占新一轮科技变革的先机。在我国，新一代AI已上升为国家发展战略，加快发展新一代AI是事关我国能否抓住新一轮科技革命和产业变革机遇的战略问题，是具有溢出带动性很强的“头雁”效应。近年来，国家电网有限公司在电网领域相继开展了AI应用的可行性和关键技术研究，并成立了AI应用研究所；中国电力科学研究院有限公司则提出了打造“电网AlphaGo”的理念，以最终实现AI在电网中的深度应用。因此，发展AI 2.0在中国具备良好基础，AI 2.0未来在EEPS领域将大有用武之地。
作为AI 2.0中的典型代表——机器学习(ML)，其本质是一个算法范畴，通过分析和学习大量已有或生成数据形成预测和判断以做出最佳决策。为此，本文以AI 2.0中的机器学习为例，从强化学习、深度学习、迁移学习、平行学习、混合学习、对抗学习和集成学习等7个方面，对其在能源与电力系统调度优化和控制决策中的应用进行综述研究，旨在引起业内专家学者的兴趣，期待在理论、方法和技术研究及应用实践方面共同推进新一代AI中的ML技术在未来“智慧EEPS”中的蓬勃发展！
二、关键技术要点
2.1强化学习
强化学习（RL）为ML中一个重要的研究领域，属于主动学习的一种，其本质上是一种在环境中“审时度势”地学习策略的过程，强调如何基于环境（state）而行动（action），以取得最大化的预期收益（reward）。近20年来，以马尔可夫决策（MDP）为严格数学基础的RL算法成为ML领域一个新的突破，许多经典的RL算法被国内外学者陆续应用于EEPS领域中，并日益受到国际ML和智能控制学术界的重视。RL在安全稳定控制、自动发电控制、电压无功优化控制、最优潮流控制、供需互动、电力市场、电力信息网络等方面的研究和应用颇多，尤其在电力系统调度控制决策中颇具潜力。但RL在处理EEPS大规模优化和控制决策问题时易出现“维数灾”，使得可行解探索困难。尤其是当状态空间很大时，将导致计算成本过高，需要与环境进行大量交互从而获得反馈用以更新模型，学习效率其实并不很高。因此，近年来，很多学者开始将RL与多Agent系统、其他ML方法、经典控制方法、智能控制理论等相结合，已在多Agent系统协商学习、分布式发电系统与微电网、多能源综合系统、电力系统控制、负荷预测与负荷调度、继电保护等领域开展了深入研究。未来RL理论的决策和自学习特性、与其他ML方法可有效集成的特性，以及在线学习技术等将有利于其在EEPS应用领域的进一步发展。
2.2深度学习
深度学习（DL）本质上是具有多层隐藏层的神经网络，是一种特定类型的典型ML，其基本思想是通过多层的网络结构和非线性变换，组合低层特征，形成抽象的、易于区分的高层表示，以发现数据的分布式特征表示。近年来，为了提高深度神经网络(DNN)的训练效果，降低DNN的优化难度，一些特有的DL模型和框架被相继提出，如SAE、DBN、RNN、CNN、深度森林、超深度学习等。目前，在EEPS领域，DL的研究与应用已初步展开，主要涵盖智能输电系统的一次设备（如发电机、变压器、断路器等）的故障诊断、电力系统暂态稳定评估、电力大数据融合与异常检测、短期电力负荷预测、电力设备图像识别、电力信息网入侵检测、智能发电的功率预测、智能输电系统的分析与控制等。近年来，DL与其他ML结合形成了功能更强的高级混合ML算法，并已在EEPS领域中得到了初步应用。总的来说，DL在EEPS领域中正扮演极其重要的角色，并将引领新变革。当然，也应认识到DL的缺陷，需在实际工程问题中进行改进，例如“梯度弥散”现象、模型验证、复杂多数据模态建模等。
2.3迁移学习
迁移学习（TL）强调的是在不同但相似的领域、任务和分布之间进行知识的迁移，早期研究有终生学习、多任务学习、知识迁移等。在EEPS领域，在求解UC、ED、AVC等高维NLP问题过程中，TL旨在根据任务间的相似性，利用在辅助领域过去所学习到的经验（知识或策略）和结果应用到相似但不相同的目标领域中进行学习，复用已有经验以加速新任务的学习速度，可有效提高新任务的学习效率和算法的收敛性。目前，TL已在无功优化、负荷预测、风速预测、碳能复合流分散优化、风险调度、源-荷协同频率控制、供需互动实时调度、AGC功率指令动态分配等方面得到初步应用。近年来，有关学者还尝试将DRL与TL结合用来训练深度策略网络。例如，在深度Q-学习网络中引入TL来加快收敛速度，以提高学习性能。总的来说，对于EEPS领域中不连续可微、含多极值、多约束的凸或非凸的NLP问题，引入TL能够将历史优化任务的有效信息转化到值函数中，从而实现快速的在线优化。在进行工程问题研究时，TL收敛性证明比较困难、迁移过程中出现的不稳定性等是亟待攻克的难题。
2.4平行学习
平行学习（PL）是王飞跃教授等提出的一个新型的ML理论框架，融合了预测学习、集成学习和指示学习，是一个把“小数据”炒成“大数据”，再把“大数据”提炼成解决具体问题的精准知识的“小智能”的过程，即“小数据、大定律”到“大数据、小定律”的过程。由于PL近年来才提出，其很多细节之处尚需完备的理论证明。近年来，PL在EEPS已有初步应用，如分布式能源系统运行优化、火力发电厂智能监控和平行管理规划等。未来，在“工业4.0”和“能源5.0”背景下，PL结合“平行智能”和“平行能源和社会能源”等理念在综合能源系统IoM建设、EEPS平行“调度机器人”研究、人工电力系统搭建、基于区块链技术的智能分布式电力能源系统建模、核电系统仿真等方面将具有很大的应用潜力，期待取得突破性进展。
2.5混合学习
混合学习（HL）表示将至少两种优势互补的ML方法集成或综合为一种性能更强的ML，其典型代表是DRL。近年来，有关学者已将DL、RL、TL及启发式搜索SI算法、策略式搜索智能算法等方法进行级联组合形成多种高级HL算法，用于求解EEPS领域的优化和控制问题。在所有HL算法中，将DL作为“感知”与RL作为“决策”结合形成HL的一对“黄金组合”——DRL，已被许多学者研究并应用到EEPS领域中来，如紧急状态下的电网切机控制策略制定等。总的来说，HL代表了一种混合增强智能，其虽可充分发挥各类ML算法的优势，但也存在可解释性差、稳定性无法得到有效保证、不能很好应用到非MDP问题、收敛性无法提供严格理论证明等缺陷，因此，未来HL在EEPS领域的研究需着重关注这些问题。
2.6对抗学习
对抗学习（AL）是通过构造相互竞争的生成器和判别器来提高学习的效率，因此又称作生成式对抗网络(GAN)。GAN是一个强大的基于博弈论的生成模型学习框架，由Goodfellow于2014年首次提出，其结合了生成模型和对抗学习思想，目前已成为AI学界最为重要的研究热点之一。在EEPS领域，真实电力系统的数据往往非常复杂，拟合模型所需计算量往往非常庞大，甚至难以承受，利用GAN可构造一个min-max对抗博弈系统来自动产生大量模型仿真数据，并使用随机梯度下降(SGD)实现优化，在很大程度上解决了真实环境样本小的问题。在EEPS领域，近年来，有关学者将GAN用于模型无关的可再生能源场景生成、配电系统异构数据资源有效利用、自能源模型参数辨识等方面。总的来说，GAN作为AI 2.0的代表技术，最大优势在于无需对生成分布进行显式表达，可大大降低训练难度，并提高训练效率，因而可在EEPS领域发挥重要作用。当然，GAN也存在某些缺点，最突出的就是训练过程不稳定，对多样性不足和准确性不足的惩罚并不平衡，导致“模式坍塌(mode collapse)”现象发生。未来，GAN将在克服“模式坍塌”方面继续提升，并设法与其他模型融合，比如融合能量函数和RL的GAN，尤其是与RL的深度融合，并用于跨任务学习，这将有力推进AI 2.0在EEPS领域中的应用和发展。
2.7集成学习
集成学习（EL）严格意义上说并不算一种ML算法，而更像是一种优化手段或策略，其通常结合多个简单的弱ML算法有策略地生成一些基础模型，然后有策略地将它们集成模型组，去更可靠地完成学习任务并做出最终决策，因此，EL又称为多分类器系统。EL适合于静态数据的集中分类等问题，而更为广义的EL技术可应用于动态系统的建模和控制。在EEPS领域，近年来，EL主要用于频率控制、电力系统安全及稳定性评估、负荷预测、可再生能源消耗和新能源发电量预测等方面，已取得不错的效果，其应用的主要难点在于究竟集成哪些独立的较弱的学习模型以及如何把学习结果整合起来。此外，EL对噪声较为敏感、有时陷入局部最优、出现过拟合和欠拟合等现象也值得关注。为此，有关学者指出EL可与DL完美结合构成深度残差学习等网络，这对于将来为EEPS领域问题提供解决方案具有重要意义。
三、大数据思维下的ML发展思考
在EEPS领域，电力大数据往往存在多源多态、异构、复杂、高维、分布、非确定性、指数级增长等特性，导致对这些流数据的采集、存储、处理、知识挖掘和价值应用等变得异常困难。对于EEPS领域而言，数据科学的发展和进步将极大地驱动AI 2.0尤其是ML在该领域的快速发展和深层应用。未来，ML需要与基于数学模型的研究相结合，方能在EEPS各个有关领域取得长足发展。这也可以看出，大数据思维下的数据挖掘方法与传统地通过ML建立人工模型进行推导的研究方法并不矛盾，二者反而可以互为补充。当然，大数据思维下的数据挖掘技术尚处于快速发展之中，与ML中的研究热点，如DL、DRL、TL、PL、GAN等结合，在EEPS研究中前景广阔、大有可为，未来值得深入研究。
四、未来展望
目前，AI 2.0距离“很好用”还存在诸多瓶颈，如数据瓶颈、泛化瓶颈、能耗瓶颈、语义鸿沟瓶颈、可解释性瓶颈和可靠性瓶颈等。ML是为了解决知识获取的瓶颈问题而出现的，数据和模型对于ML而言是同等重要的。上述AI 2.0发展遇到的瓶颈也是ML未来发展所必须面对的。如何有效利用EEPS的运行机理及其数据源，通过合适的ML技术来处理系统的各种复杂任务，以实现整个系统的安全、可靠、经济、环保运行，成为了当前国内外的热点研究问题。近年来，有关学者提出开发嵌入了专业知识的ML方法，称为引导学习，其主要特点是结合了领域知识经验和ML，提供了一种知识分析与数据挖掘相融合的ML范式，为“人类+机器”协同混合增强智能的实现机理和电力知识资产传承管理提供了一条可行的路线。
总的来说，尽管ML在当前的EEPS领域的应用还存在诸多瓶颈，但其潜力和价值是无穷的。在大能源思维和大数据思维下，未来通用的“终极ML算法”是有可能诞生的，它将是大数据挖掘技术和多源数据融合思想等数据科学的充分利用、多种ML方式的深度交叉融合、机器的情感和记忆推理等高级智能。例如，通过引入具有群体智慧的平行ML，建立虚拟的平行人工EEPS，实现王飞跃教授等提出的“平行能源与社会能源”的理念以及“平行调度”的构想，实现知识智能互联的“能源智联网”，即信息-物理-社会深度融合系统(CPSS)。因此，通过基于深度特征识别和加装存储记忆、推理模块的RL，DL，TL，PL，HL，AL (GAN)，EL等各种学习方式的交叉融合，新一代数据驱动的“智慧EEPS”未来将有可能实现，最终将会走向“工业5.0”和“能源5.0”发展的新时代。
文章原刊于《电力系统自动化》2019年第43卷第I期
评论