文章编号: 1000-3673(2021)08-2945-10 中图分类号: TM721 文献标识码: A 学科代码: 470·40
, 
 赵恺(1996)，男，硕士研究生，研究方向为大数据和深度学习在电力系统中的应用，E-mail：zhaok18@mails.tsinghua.edu.cn; |
,
现有研究表明[1-2]，电力系统在大扰动下所引发的功角失稳，即暂态稳定问题是造成电网大停电事故的重要诱因和导火索。如果调度控制中心不能及时对电网遭受大扰动的后果做出准确评判并进行有效干预，系统故障将会进一步发展，引发连锁故障甚至大停电事故。传统暂态稳定评估(transient stability assessment，TSA)方法通常分为时域仿真法[3]和直接法[4](又称暂态能量函数法)，其中时域仿真法可实现准确评估但计算量大且耗时；直接法可以快速做出稳定判断且能给出稳定度，但需要构造“能量函数”以反映系统的暂态特征，难以用于复杂电力系统。随着由大数据支撑的高度智能化、互动化的智能电网地快速发展，如何实现快速、准确的电力系统暂态稳定在线评估一直是电网安全稳定研究的热点和难点问题。
随着统计学和机器学习技术的兴起，许多学者尝试将机器学习算法用于电力系统TSA中。Wehenkel等人研究指出[5]，TSA的核心在于建立系统特征量(X)和暂态稳定性(Y)之间的映射关系Y=f(X)。而机器学习算法通过对历史运行数据及离线仿真数据不断进行学习拟合，可以实现这种映射关系的近似模拟。此后，很多机器学习算法，包括决策树(decision tree，DT)[6]、支持向量机(support vector machine，SVM)[7]以及随机森林(random forest，RF)[8-9]都成功应用于电力系统TSA，但均呈现出一定的局限性。一方面，这类算法受制于浅层模型结构，不足以拟合数据的隐式映射规则[10]；另一方面，算法性能受初始特征选取影响较大，需要借助人工先验知识来进行特征提取，泛化性能不足。
近些年来，深度学习技术实现跨越式发展，在很多领域应用方面都取得了突破性的成果[11-13]。相较于上述机器学习算法，深度学习能自主从数据中组合和提取输入特征，避免了人工干预所带来的主观性；其次，有学者对其无限拟合能力的完备性进行了数学证明[14]，目前已成为各领域的研究热点。鉴于深度学习自身的优良特性，已有学者将常规深度学习模型，包括深度置信网络(deep belief network，DBN)[15-17]、堆栈自编码器(stacked autoencoder，SAE)[18]、卷积神经网络(convolutional neural network，CNN)[19-20]以及长短期记忆网络(long short-term memory network，LSTM)[21-22]应用于TSA，并取得了良好的效果。杨维全等人[19]基于CNN，提出一种交直流受端电网分区TSA的方法；高昆仑等人[20]考虑了原始输入特征的时间维度信息，基于一维卷积神经网络(one-dimensional CNN，1D-CNN)设计了一种四卷积层的TSA模型。虽然，现有研究在自建数据集上均取得了较高的辨识精度，但仍然存在以下问题：首先，上述常规深度学习模型的网络结构设计主要都是面向图像数据或文本语音序列数据，针对电力系统量测数据的模型结构设计较少涉及；其次，为了解决样本不均衡的问题，上述模型大都在损失函数中添加惩罚权重，虽然在一定程度上提高了不稳定样本的召回率，但降低了稳定样本的查准率，模型的整体评估性能并未得到有效提升；最后，现有研究普遍将深度学习技术看作是一种“黑盒”算法，鲜有涉及对训练好的模型进行可视化和可解释性分析方面的研究。
针对上述问题，本文提出了一种基于改进1D-CNN的电力系统TSA方法。首先，针对所输入的时序量测数据，本文使用多尺寸卷积核和分组卷积对常规1D-CNN进行改进，提高模型对时序信息的提取能力并减少模型的冗余参数；接下来，通过引入焦点损失(focal loss，FL)[23]函数指导模型训练，以解决样本不均衡问题；此外，本文还使用Guided Grad-CAM算法对所训练好的模型进行了可视化和可解释性分析。最后，在新英格兰10机39节点算例系统中进行了仿真分析，验证了本文所提方法的有效性和准确性。
1 改进1D-CNN模型对于输入为序列数据的分类问题，常用的深度学习模型可分为以下两类，即1D-CNN和循环神经网络(recurrent neural network，RNN)。其中，RNN通过记录系统状态量，使神经元具有记忆能力，对于第t个时间步，其计算可分为2步：1）计算系统状态向量
| ${\boldsymbol{a}^{\left\langle t \right\rangle }} = \tanh ({\boldsymbol{W}_{{\rm{ax}}}}{x^{\left\langle t \right\rangle }} + {\boldsymbol{W}_{{\rm{aa}}}}{\boldsymbol{a}^{\left\langle {t - 1} \right\rangle }})$ | (1) |
| ${\boldsymbol{\hat y}^{\left\langle t \right\rangle }} = {\rm SoftMax}({\boldsymbol{W}_{\rm ya}}{\boldsymbol{a}^{\left\langle t \right\rangle }})$ | (2) |
式中：
针对此问题，学者们提出了LSTM和门控循环单元(gate recurrent unit，GRU)等改进模型，其核心是在RNN神经元内增加门控机制，从而对
因此，本文以1D-CNN为研究对象，在分析常规1D-CNN原理的基础上，对其进行多方面改进，提出一种改进的1D-CNN模型。
1.1 1D-CNN原理1987年，Waibel等人[26]提出时间延迟网络，首次将1D-CNN应用于语音识别问题，开启了1D-CNN在语音文本等序列数据领域的研究工作。对比常规CNN，1D-CNN的输入通常为一维或二维数组(包含多个通道时)，其卷积核仅在一个方向进行滑动，通过一维卷积运算提取对应局部时间窗内的特征。图 1给出了常规1D-CNN的结构示意图。
图 1中，输入特征
|
图 1 常规1D-CNN结构示意图 Fig. 1 Schematic diagram of 1D-CNN |
对于图 1中的单层1D-CNN，其一维卷积运算可公式化为
| $\boldsymbol{X}_i^{l + 1} = f({\boldsymbol{X}^l} \otimes \boldsymbol{K}_i^{l + 1} + \boldsymbol{b}_i^{l + 1}){\rm{, }}i \in \{ 1{\rm{, }}2{\rm{, }}...{\rm{, }}{c_2}\} $ | (3) |
| ${\boldsymbol{X}^{l + 1}} = \boldsymbol{X}_1^{l + 1} \oplus \boldsymbol{X}_2^{l + 1} \oplus ... \oplus \boldsymbol{X}_{{c_2}}^{l + 1}$ | (4) |
式中：⊕为矩阵拼接运算符，
此外，根据式(3)可知，单层1D-CNN的待学习参数为Kl+1和bl+1，总计为c2×h×c1+c2个，并且输出特征Xl+1的时间序列长度t2满足
| ${t_2} = \frac{{{t_1} + 2p - h}}{s} + 1$ | (5) |
式中：p为卷积填充层数；s为卷积步长。通过合理设置p和s，可以避免t2过快下降且损失边缘信息。
1.2 改进1D-CNN原理对于电力系统TSA问题，在线路故障发生并被切除前后的时段内，系统从一种稳定状态过渡到新的运行状态。在这个过程中，电力系统的一些物理量(如节点电压幅值、相角，线路潮流和发电机功角等)具有明显的时变特性[21]。因此，在应用深度学习模型进行TSA评估时，需要模型具有提取时序信息的能力。
虽然，常规1D-CNN能够处理序列数据，并且已被成功应用于电力系统TSA问题，取得了良好的效果，但仍存在如下问题：1）随着神经网络深度的增加，参数量急剧提升，梯度弥散或梯度爆炸的情况更加严重，模型难以训练和优化。2）单一尺寸的卷积核难以捕捉不同时间粒度的时序信息，影响评估性能。鉴于此，有必要对常规1D-CNN的网络结构进行改进。
图 2给出了本文所提出的一种改进的1D-CNN卷积层结构(以分组数g=2为例)示意图。与图 1中的常规1D-CNN结构进行对比，主要有以下3个方面的改进：
|
图 2 改进1D-CNN结构示意图 Fig. 2 Schematic diagram of improved 1D-CNN |
1）使用多尺寸卷积核替代单尺寸卷积核。不同尺寸的卷积核对应不同长度的局部时间窗，进而可以提取不同时间粒度的时序特征[27-28]。相较于图 1中的常规1D-CNN，图 2中的改进1D-CNN拥有2个具有不同卷积核尺寸的卷积核组，分别是h1=5的大卷积核组Kl+1, 1和h2=3的小卷积核Kl+1, 2。大卷积核组Kl+1, 1的引入可以提取更大时间粒度的特征，同时增大卷积层的感受野，使得浅层网络即可获得全局时序特征，可降低模型深度和训练难度。
2）使用分组卷积替代常规卷积。虽然多尺寸卷积核提高了模型对不同时间粒度特征的提取能力，但卷积层参数量随卷积核组数线性增加，可以引入通道稀疏连接的分组卷积操作，以减少冗余参数。分组卷积是将输入特征Xl的通道c1均匀分成g组，然后各组内分别进行常规卷积操作。根据1.1节中常规1D-CNN的参数公式，易知使用分组卷积后，各组的参数量为(c2×h×c1/g2+c2/g)，g个组的总参数量即为c2×h×c1/g+c2，约为常规1D-CNN参数量的1/g。
3）通道重排。以图 2为例，输入特征Xl经过分组卷积和矩阵拼接操作后，得到融合特征矩阵
作为一种数据驱动算法，基于改进1D-CNN实现TSA的核心是设计有效的分类网络模型，然后在海量数据集上对电力系统物理量X和暂态稳定状态Y间的隐式映射关系Y=f(X)进行离线学习拟合。训练好的模型可以在广域量测系统的通信主站进行线上部署，进而实现对系统的暂态稳定状态的在线实时评估，本小节将对其中的几个重要环节进行详细阐述。
2.1 TSA模型输入特征构建输入特征的选取和构建会直接影响TSA模型的评估性能。现有研究中的暂态稳定特征集可分为2种：第一种是基于专家知识，考虑暂态过程中能全面反映系统动态特征的状态量，人工设计出一组“组合特征集”[8, 17]；第二种是直接使用同步相量测量单元(phasor measurement unit，PMU)的时序量测数据作为输入，可以减少因人工介入特征构建所带来的主观性[18-21]，提升算法的分类和回归性能。
本文旨在构建一种可以直接从底层测量数据进行在线分析的端到端TSA模型，因此选择母线电压幅值、相角，线路有功和无功潮流作为初始输入特征，这些电气量均可以通过PMU直接获得。综上，对于任意样本，其输入特征为
| $\begin{gathered} \boldsymbol{X} = [{\boldsymbol{V}_1}{\rm{, }}...{\rm{, }}{\boldsymbol{V}_m}{\rm{, }}{\boldsymbol{\theta} _1}{\rm{, }}...{\rm{, }}{\boldsymbol{\theta} _m}{\rm{, }}{\boldsymbol{P}_1}{\rm{, }}...{\rm{, }}{\boldsymbol{P}_n}{\rm{, }} \\ {\boldsymbol{Q}_1}{\rm{, }}...{\rm{, }}{\boldsymbol{Q}_n}]{\rm{, }}({\boldsymbol{V}_m}{\rm{, }}{\boldsymbol{\theta} _m}{\rm{, }}{\boldsymbol{P}_n}{\rm{, }}{\boldsymbol{Q}_n} \in {R^d}) \\ \end{gathered} $ | (6) |
式中：m为母线节点编号；n为输电线路编号；d为采样点数。综上，单个样本所对应的输入特征X为形如
现有研究普遍将电力系统TSA简化为预测系统稳定与不稳定的二分类问题[15-21]。因此，TSA模型的顶层分类层设有2个输出节点，分别对应于暂态稳定和暂态失稳，可表示为
| ${\hat y_i} = \frac{{{{\rm{e}}^{{z_i}}}}}{{\sum\nolimits_{j = 0}^1 {{{\rm{e}}^{{z_j}}}} }}{\rm{, }}i \in {\rm{\{ }}0{\rm{, }}1{\rm{\} }}$ | (7) |
式中：
对于由时域仿真所获得的样本数据集，本文引入用于判定系统遭受大扰动下功角失稳与否的暂态稳定指标(transient stability index，TSI)[31]：
| ${T_{{\rm{SI}}}} = \frac{{{{360}^\circ } - |\Delta {\delta _{\max }}|}}{{{{360}^\circ } + |\Delta {\delta _{\max }}|}}$ | (8) |
式中：Δδmax为仿真时间内任意时刻两台发电机的最大相对功角差。当Δδmax < 360°，即TSI > 0时，系统暂态稳定，样本标注为0。反之，系统暂态失稳，样本标注为1。
2.3 针对不平衡样本的焦点损失函数在分类任务中，交叉熵(cross entropy，CE)通常被选为损失函数来指导模型训练，其公式为
| ${\rm CE}(\boldsymbol{Y}{\rm{, }}\boldsymbol{\hat Y}) = - \sum\nolimits_i {{\rm{(}}{y_i} \cdot \ln ({{\hat y}_i})} ){\rm{, }}i \in {\rm{\{ }}0{\rm{, }}1{\rm{\} }}$ | (9) |
式中：yi∈{0, 1}为样本的暂态稳定标签；
由于电力系统暂态失稳十分罕见，因此数据集中稳定样本的数目通常要远多于不稳定的样本数目，这在一定程度上会导致模型更加侧重稳定样本，从而造成不稳定样本的误判。对于此类样本不均衡问题，目前主要有以下2种解决途径：1）在数据层面，采用包括超采样、欠采样以及数据增强等方法。2）在算法层面，使用加权损失函数等方式。
本文通过引入计算机视觉领域中的FL对CE进行改进，具体公式如下：
| $\begin{array}{l} {\rm FL}(\boldsymbol{Y}{\rm{, }}\boldsymbol{\hat Y}) = \\ {\rm{ }}\left\{ \begin{array}{l} - \alpha \cdot {(1 - {{\hat y}_i})^\gamma } \cdot \log {{\hat y}_i}{\rm{, }}{y_i} = 1 \\ - (1 - \alpha ) \cdot {{\hat y}_i}^\gamma \cdot \log (1 - {{\hat y}_i}){\rm{, }}{y_i} = 0 \\ \end{array} \right. \\ \end{array} $ | (10) |
式中：α∈(0, 1)为平衡因子，用来平衡正负样本的比例不均；γ∈[0, +∞]为调制因子，其与
考虑到电力系统TSA问题具有数据集样本不均衡和错分代价不同的特点，单一的分类准确率指标难以全面评估模型性能。因此，本文基于机器学习中的混淆矩阵工具，使用准确率Acc、查准率Prec、查全率Recall和F1-score来综合评估TSA模型的辨识性能。其中，TSA的混淆矩阵如表 1所示。
|
表 1 TSA混淆矩阵 Table 1 Confusion matrix of TSA |
各项评估指标的计算公式分别表示如下：
| ${A_{{\rm{cc}}}} = \frac{{{T_{\rm{P}}} + {T_N}}}{{{T_{\rm{P}}} + {F_{\rm P}} + {F_{\rm N}} + {T_{\rm N}}}}$ | (11) |
| ${P_{{\rm{rec}}}} = \frac{{{T_{\rm{N}}}}}{{{T_{\rm{N}}} + {F_{\rm{N}}}}}$ | (12) |
| ${R_{\rm ecall}} = \frac{{{T_{\rm N}}}}{{{T_{\rm N}} + {F_{\rm P}}}}$ | (13) |
| ${F_{{\rm{l - score}}}} = \frac{{2 \cdot {P_{\rm rec}} \cdot {R_{\rm ecall}}}}{{{P_{\rm rec}} + {R_{\rm ecall}}}}$ | (14) |
对于实际电力系统，TSA模型将“失稳样本判定为稳定”比“将稳定样本判定为失稳”的误判后果会更为严重。因此，本文主要以改进模型对失稳样本的辨识能力为研究主体。
2.5 TSA模型的可解释性研究2017年ICML会议上，Been Kim等人将机器学习算法的可解释性定义为“以人类能理解的方式解释模型”[32]。深度学习作为典型的“黑盒”算法，可解释性尤为重要。首先，可解释性可以帮助人们打开深度学习的“黑盒”，发现输入和输出间的潜在关联，从而获得新知识；其次，不可解释性意味着风险和不安全，实际应用场景总是充满各种不确定性，人们难以事先对“黑盒”算法的行为有确定的预期，这限制了深度学习在安防、金融和电力系统等关乎国计民生领域中的应用。
目前，基于深度学习的电力系统TSA研究主要仍集中在模型改进和训练方面，鲜有对模型的可解释性进行深入分析。本文通过引入Guided Grad- CAM算法[33]，尝试进行模型可解释性的研究。为了便于阐述，以CNN模型为例，其核心公式(其他CNN变体，包括1D-CNN与之同理)为
| $\alpha _k^c = \frac{1}{Z}\sum\limits_{i \in w} {\sum\limits_{j \in h} {\frac{{\partial {y^c}}}{{\partial A_{ij}^k}}} } $ | (15) |
| $\boldsymbol{M}_{\rm Grad - CAM}^c = \sum\limits_k {{\rm ReLU}(\alpha _k^c \cdot {\boldsymbol{A}^k})} $ | (16) |
式中：yc为模型预测的样本为类别c的分数；
基于1.2节的改进1D-CNN，本文设计了一种四卷积层的电力系统TSA模型，称为FL-CNN，其结构示意图如附录A图A1所示。该模型大致可分为以下两部分：1）由四层1D-CNN堆叠所构成的时序特征提取器；2）由自适应最大值池化层和全连接层构成的分类器。附录A图A1中各参数说明如下：
1）Conv表示改进1D-CNN层，k={3, 5, 7, 9}表示分组卷积的分组数为4，且每组卷积核的尺寸分别是3, 5, 7和9；s=2表示卷积步长为2，可以替代常规的池化层，使输出的特征的序列长度减半，从而将下层1D-CNN层的感受野扩大为本层的2倍；p={1, 2, 3, 4}表示各组卷积的卷积填充层数分别为1, 2, 3和4，以确保各组卷积输出的特征图尺寸一致；c=32表示卷积层输出特征的通道数为32；激活函数选择Swish[34]，相较主流的ReLU，Swish具有更优的参数寻优能力并且不会使神经元“死亡”(dying ReLU)[35]；此外，在激活函数前添加BN层[36]以加速模型的收敛。
2）Adaptive Maxpool-1d表示自适应最大值池化层，o=1表示将输入特征的序列长度压缩为1，进行特征降维，提高模型泛化性能。
3）FC表示全连接层，o=2表示输出神经元为2，分别代表暂态稳定和暂态失稳2种类别；经过SoftMax归一化后，2个输出单元满足概率的规范性定义，结果可视为相应类别的置信度。
3 算例分析 3.1 数据集构建以新英格兰10机39节点系统[37]为算例进行基于改进1D-CNN的电力系统TSA，发电机模型采用二阶经典模型，负荷采用恒定阻抗模式。通过改变系统运行状态和故障条件，使用Power System Tool(PST)[38]进行批量时域仿真，生成数据集。为了方便后续与前人研究进行对比分析，时域仿真的故障参数设置参考文献[20]，具体详见附录A表A1。在筛除孤岛运行及潮流不收敛的情况后，最终得到有效样本17022个，其中暂态稳定样本12767个、暂态失稳样本4255个，暂态稳定与暂态失稳的样本数比例约为3:1。最后，随机分层抽样13617个样本作为训练集，其余3406个样本作为测试集。
3.2 TSA模型性能评估根据2.1节的定义，模型输入特征X为形如Rd×2(m+n)二维矩阵。考虑到输入特征需要尽量全面地反映系统的暂态过程，设样本的采样区间为[t0, tpost]，采样点数d=(tpost-t0)/T，t0为扰动前某稳态时刻，tpost为扰动后某时刻，T为采样周期。
在本研究中，故障施加时刻tf为1.1s末；故障切除时刻tc在1.2~1.6s之间；TSA模型的响应时间tpost-tc固定为100ms；T为10ms，即每半周波采样一次。由于不同扰动条件下tc不同，会导致X的序列长度d不同。为了方便模型训练，以最长故障持续时间0.5s为基准，设t0为tf前2个周波，即40ms，根据采样点数计算公式，可算得d为64。同理可知，各样本的采样区间为[tc-54T, tc+10T]。本文算例系统共包括39条母线及34条输电线路，根据式(6)可知，输入特征X的尺寸为64×146，即序列长度为64，通道数为146。
在此基础上，使用Adam优化算法[39]对2.6节中设计的FL-CNN进行训练优化。相较于常规的随机梯度下降算法(stochastic gradient descent，SGD)，Adam算法引入了动量和指数加权平均思想，可以抑制梯度波动，加速模型收敛。模型的其他超参数设置如下：学习率为0.001，每个批次的样本数为32，迭代轮数为30。基于上述配置，通过仿真分析后所得到的FL-CNN的学习曲线如图 3所示。
|
图 3 TSA模型学习曲线 Fig. 3 Learning curves of TSA model |
图 3(a)为训练集上的损失函数值曲线，蓝线表示使用Adam，橙线为使用常规SGD，其余参数完全一致。可以看到，蓝线比橙线下降的更快，且收敛的损失函数值更低。图 3(b)为测试集上的损失函数值曲线，蓝线表示使用BN层，橙线表示不使用BN层。可以看到，蓝线的收敛速度大于橙线，并且随着迭代轮数的增加，橙线出现了损失函数值增大的趋势，这表明发生了过拟合。综上可知，BN层可以加速模型收敛，并具有一定的正则能力。
为了证明FL-CNN的优越性，本文与一些常用的机器学习方法，包括逻辑斯蒂回归(logestic regression，LR)、DT、SVM，以及2种深度学习算法：SAE[17]和常规1D-CNN[20]进行了对比验证。对于上述几种机器学习方法和SAE，其模型输入必须为一维向量，本文将二维输入特征展开为一维向量作为输入。此外，对于SAE和常规1D-CNN算法需要修改输入层的节点数以适配输入特征的维度，模型的其他参数均与原文献保持一致。考虑到在实际部署中，参数量少、计算复杂度低的轻量化模型会更受关注，因此除了2.4节中的分类评估指标外，本文还引入了参数量指标来进行对比分析，附录B表B1—B3分别给出了各深度学习模型的各层参数及计算过程。
最后，应用上述模型在仿真数据集上进行交叉验证，具体结果详见附录B表B4。表 2给出了交叉验证评估后各项指标的平均值。
|
|
表 2 TSA模型评估结果 Table 2 Results of different TSA models |
由表 2可以看到，相比LR、SVM以及DT浅层学习方法，SAE、1D-CNN及本文提出的FL-CNN深度学习算法借助深层结构极大地提高了模型容量，使得模型辨识性能得到了显著提升。对比浅层学习方法，受数据集规模和高维特征的影响，SVM算法表现不佳，而简单的线性模型如LR则表现最优，准确率达到了92.64%。对比1D-CNN和SAE，虽然权值共享极大缩减了1D-CNN的参数量，如仅为SAE参数量的百分之一，但SAE的暂态稳定评估性能要优于1D-CNN，准确率方面大概高1.02%，F1-score高0.02。
通过改进网络结构，本文提出的FL-CNN能充分挖掘PMU量测数据的时空特征，各项指标均优于其他模型，准确率达到99.26%，F1-Score达到0.985，参数量仅为19650，存储空间不到77kB。
3.3 改进1D-CNN的有效性分析本文1.2节对改进1D-CNN的原理进行了具体阐述，其核心是引入多尺寸卷积核和分组卷积技术，从而提升模型的特征提取能力并精简模型的冗余参数。基于上述理论，本文设置对比实验以证明所提出改进模型的有效性，结果如表 3所示。
|
|
表 3 对比实验结果 Table 3 Comparison results of different 1D-CNN models |
其中，表 3中的1D-CNN1与表 2中的常规1D-CNN模型完全一致，通过改变1D-CNN1的卷积核尺寸，分别在数据集上进行训练，可获得1D-CNN2—1D-CNN4模型。对比上述模型可知，随着卷积核尺寸地增加，各卷积层的感受野扩大，模型可以捕捉更长时间粒度的时序特征，分类准确率得到提升，其代价是引入了冗余的模型参数。而本文提出的FL-CNN通过改进网络结构设计，能够提取和融合多粒度时序信息，并减少冗余参数，在评估结果的准确率和参数量方面均优于表 3中的基于常规1D-CNN的TSA模型。
3.4 FL函数的有效性分析为了验证FL的有效性，本文分别使用CE和FL作为损失函数训练所提出的FL-CNN模型。图 4给出了使用不同损失函数训练所得模型在测试集上的混淆矩阵。
|
图 4 测试集混淆矩阵 Fig. 4 Confusion matrix of test dataset |
对比图 4(a)和图 4(b)可知，一方面FL能平衡样本不均，使“误判稳定(FP)”样本数从15下降到9，提高了失稳状态预测的可靠性；另一方面FL使模型关注易错分的困难样本，“误判失稳(FN)”样本数从5下降到1，可以降低因意外报警而造成的电力系统调度和维护成本。综上，FL可以有效缓解样本不均衡问题，指导训练出更加可靠的TSA模型。
3.5 考虑实际PMU配置的评估结果分析由于PMU价格昂贵且实际安装地点受电网运行工况的限制，实际电力系统通常仅在枢纽节点和薄弱节点配置PMU[40]。此外，受通信网络波动和授时信号失步的影响，PMU量测的序列数据可能出现数据丢失和时序异步的异常情况。
为了验证所提出FL-CNN在实际PMU配置情况下仍具有良好稳定的评估性能，本节考虑上述3种典型场景进行对比验证。第1种是PMU不完全配置，实验中随机置零15%的特征通道进行模拟；第2种是数据丢包，实验中设置所有特征在任意时刻以10%概率丢失量测数据；第3种是时序异步，实验中随机设置15%的特征在时序上向后时移10个周期。为了抑制随机生成数据集的波动性，每个场景均重复实验100次，取均值作为期望。实验结果可见附录B表B5，通过对比可以发现：
1）浅层机器学习方法表现不如深度学习，并且不同场景下具有不同的适应性。对于LR和DT，PMU不完全配置场景的影响最大，其中DT的准确率降低了25.47%；SVM对时序异步更为敏感，准确率下降了7.27%。因此，需要构建集成算法以提高机器学习算法的鲁棒性。
2）对于深度学习算法，FL-CNN评估性能在各场景下均优于其他模型，预测准确率不低于98%。此外，FL-CNN在时序异步的场景下表现不佳，这是因为改进1D-CNN提高了模型对时序信息的捕捉能力，导致了模型预测受时序异步信息的干扰。
3.6 TSA模型可视化及可解释性分析 3.6.1 特征提取可视化t-SNE算法[41]可以在保留样本点间全局与局部关系的前提下，将高维向量投射到2维或3维空间进行可视化，有助于人们直观验证算法的有效性。本文从测试集中随机抽取300个测试样本，采用t-SNE算法将FL-CNN各层的输出映射到二维平面进行可视化，结果如图 5所示。
|
图 5 基于t-SNE的TSA模型各层输出特征可视化结果 Fig. 5 Visualization of output features of each layer of TSA model based on t-SNE |
由图 5可以看到，原始特征空间中暂态稳定与暂态失稳样本混杂在一起，随着网络层数加深，不同类别的样本在特征空间中呈现聚集趋势，几乎可以线性分开，这说明了FL-CNN有很强的特征提取能力，能实现有效的TSA。
3.6.2 模型可解释性分析可解释性的核心在于理解模型是如何将输入特征与预测输出进行关联。本文通过应用Guided Grad-CAM算法获得FL-CNN关于输入特征的热度图，再结合附录A图A2所示的算例系统拓扑结构，尝试分析FL-CNN的TSA依据。本文从测试集中抽取了6种典型实例进行详细说明，各实例的故障参数如表 4所示，所对应的时域仿真曲线(发电机功角+母线电压幅值)和特征热度图详见附录C图C1—C6。
|
|
表 4 典型实例的故障参数设置 Table 4 Fault parameters of typical examples |
在附录C图C1—C6中，特征热度图的维度定义与式(6)中输入特征的定义保持一致，节点编号从1到39顺序排列，输电线路编号按附录A表A1中线路顺序排列。热度图中各点的值为0~255间的整数，数值越大表明相应区域对FL-CNN进行TSA的响应越高，影响越大。通过观察，可以发现：
1）时间维度方面：对于所有实例，特征热度图中tf和tc附近的热度值均高于其他时刻，说明故障发生和切除时刻的量测数据对TSA结果起主要作用。
2）通道维度方面：在所有实例的特征热度图中，故障线路周围母线的电压幅值和相角的热度值普遍较高，说明相较于线路有功和无功潮流，母线电压相量能有效反映系统的动态变化，对TSA结果的影响更大。
此外，结合时域仿真曲线对比各实例的特征热度图，可以观察到一个有趣的现象：随着tc增加，系统受到的扰动增大，在故障切除后，故障线路两端的母线电压振荡加剧，低电压时间持续增加，实例5和实例6可能同时出现了电压失稳[42-43]。与之相应的是，特征热度图中线路有功潮流和无功潮流通道的热度值逐渐增加，对TSA预测的影响增大，其中的关联性有待后续进行深入研究。
4 结论本文从面向底层量测数据构建端到端TSA模型的思想出发，提出了一种基于改进1D-CNN的电力系统TSA方法。首先，使用多尺寸卷积核和分组卷积对常规1D-CNN进行改进；其次，引入FL替代CE指导TSA模型训练；最后，应用Guided Grad-CAM算法尝试进行模型的可解释性分析。本文所提方法在新英格兰10机39节点系统上进行了仿真研究，并与多种相关算法进行了对比测试，得到如下结论：
1）本文提出的改进1D-CNN可以提取和融合多粒度时序特征，有效缩减模型参数。所构建的深度学习模型优于其他常规机器学习和深度学习模型，更适用于电力系统TSA。
2）FL的引入可以有效缓解样本不均衡问题，并且可以使模型关注易错分的困难样本，训练更加可靠的暂态稳定评估模型。
3）通过观察和分析Guided Grad-CAM算法获得的输入特征热度图，本文发现：①故障发生和切除时刻的量测数据对TSA结果起主要作用；②相较于线路潮流，母线电压相量对TSA结果的影响更大；③电压失稳可能与线路潮流存在某种关联性。
后续研究中将基于可视化的特征热度图，尝试对电压失稳与线路潮流的关联性进行深入探讨。此外，针对实际大规模系统所导致的维数灾难等问题，未来将借鉴迁移学习的思想对本文所提方法进行拓展，尝试构建不受系统规模约束的TSA模型，并对其适用性和泛化能力进行评估。
附录见本刊网络版(http://www.dwjs.com.cn/CN/1000-3673/current.shtml)。
附录A
|
图 A1 FL-CNN结构示意图 Fig. A1 The schematic diagram of FL-CNN |
|
图 A2 新英格兰10机39节点结构图 Fig. A2 Single diagram of New England 10-machine 39-bus system |
|
|
表 A1 TSA时域仿真参数设置 Table A1 Parameters of time-domain simulation for TSA |
|
|
表 B1 FL-CNN模型参数 Table B1 Model parameters of FL-CNN |
|
|
表 B2 1D-CNN模型参数 Table B2 Model parameters of 1D-CNN |
|
|
表 B3 SAE模型参数 Table B3 Model parameters of SAE |
|
|
表 B4 TSA模型交叉验证 Table B4 Cross validation of TSA models |
|
|
表 B5 不同场景下各TSA模型的对比结果 Table B5 Comparison results from different TSA models in different scenarios |
|
图 C1 时域仿真曲线与特征热度图(实例1) Fig. C1 Curves of time-domain simulation and heatmap of input features (example 1) |
|
图 C2 时域仿真曲线与特征热度图(实例2) Fig. C2 Curves of time-domain simulation and heatmap of input features(example 2) |
|
图 C3 时域仿真曲线与特征热度图(实例3) Fig. C3 Curves of time-domain simulation and heatmap of input features (example 3) |
|
图 C4 时域仿真曲线与特征热度图(实例4) Fig. C4 Curves of time-domain simulation and heatmap of input features(example 4) |
|
图 C5 时域仿真曲线与特征热度图(实例5) Fig. C5 Curves of time-domain simulation and heatmap of input features (example 5) |
|
图 C6 时域仿真曲线与特征热度图(实例6) Fig. C6 Curves of time-domain simulation and heatmap of input features(example 6) |
| [1] |
汤涌, 卜广全, 易俊. 印度"7.30"、"7.31"大停电事故分析及启示[J]. 中国电机工程学报, 2012, 32(25): 167-174. TANG Yong, BU Guangquan, YI Jun. Analysis and lessons of the blackout in Indian power grid on July 30 and 31, 2012[J]. Proceedings of the CSEE, 2012, 32(25): 167-174 (in Chinese). (  0) |
| [2] |
刘云. 巴西"9.13"远西北电网解列及停电事故分析及启示[J]. 中国电机工程学报, 2018, 38(11): 3204-3213. LIU Yun. Analysis on and inspiration of the "9.13" islanding and outage of Brazilian Remote Northwest power grid[J]. Proceedings of the CSEE, 2018, 38(11): 320-3213 (in Chinese). ( 0) |
| [3] |
KUNDUR P, BALU N J, LAUBY M G. Power system stability and control[M]. New York: McGraw Hill, 1994: 848-872.
( 0) |
| [4] |
CHIANG H. Direct methods for stability analysis of electric power systems: theoretical foundation, BCU methodologies, and applications[M]. New Jersey: John Wiley & Sons, 2010: 6-8.
( 0) |
| [5] |
WENHENKEL L, VAN CUTSEM T, RIBBENS-PAVELLA M M. An artificial intelligence framework for online transient stability assessment of power systems[J]. IEEE Transactions on Power Systems, 1989, 4(2): 789-800. DOI:10.1109/59.193853 ( 0) |
| [6] |
GUO Tingyan, MILANOVIĆ J V. Online identification of power system dynamic signature using PMU measurements and data mining[J]. IEEE Transactions on Power Systems, 2016, 31(3): 1760-1768. DOI:10.1109/TPWRS.2015.2453424 ( 0) |
| [7] |
GEEGANAGE J, ANNAKKAGE U D, WEEKES T, et al. Application of energy-based power system features for dynamic security assessment[J]. IEEE Transactions on Power Systems, 2015, 30(4): 1957-1965. DOI:10.1109/TPWRS.2014.2353048 ( 0) |
| [8] |
王彤, 刘九良, 朱劭璇, 等. 基于随机森林的电力系统暂态稳定评估与紧急控制策略[J]. 电网技术, 2020, 44(12): 4694-4701. WANG Tong, LIU Jiuliang, ZHU Shaoxuan, et al. Transient stability assessment and emergency control strategy based on random forest in power system[J]. Power System Technology, 2020, 44(12): 4694-4701 (in Chinese). ( 0) |
| [9] |
LIU Songkai, LIU Lihuang, FAN Youping, et al. An integrated scheme for online dynamic security assessment based on partial mutual information and iterated random forest[J]. IEEE Transactions on Smart Grid, 2020, 11(4): 3606-3619. DOI:10.1109/TSG.2020.2991335 ( 0) |
| [10] |
ZHANG Lu, MA Wenping, ZHANG Dan. Stacked sparse autoencoder in PolSAR data classification using local spatial information[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(9): 1359-1363. DOI:10.1109/LGRS.2016.2586109 ( 0) |
| [11] |
VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc., 2017: 6000-6010.
( 0) |
| [12] |
FEICHTENHOFER C, FAN H, MALIK J, et al. Slowfast networks for video recognition[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019: 6201-6210.
( 0) |
| [13] |
SENIOR A W, EVANS R, JUMPER J, et al. Improved protein structure prediction using potentials from deep learning[J]. Nature, 2020, 577(7792): 706-710. DOI:10.1038/s41586-019-1923-7 ( 0) |
| [14] |
CYBENKO G. Approximation by superpositions of a sigmoidal function[J]. Mathematics of Control, Signals and Systems, 1989, 2(4): 303-314. DOI:10.1007/BF02551274 ( 0) |
| [15] |
邵美阳, 吴俊勇, 李宝琴, 等. 基于两阶段集成深度置信网络的电力系统暂态稳定评估[J]. 电网技术, 2020, 44(5): 1776-1787. SHAO Meiyang, WU Junyong, LI Baoqin, et al. Transient stability assessment of power system based on two-stage ensemble deep belief network[J]. Power System Technology, 2020, 44(5): 1776-1787 (in Chinese). ( 0) |
| [16] |
胡伟, 郑乐, 闵勇, 等. 基于深度学习的电力系统故障后暂态稳定评估研究[J]. 电网技术, 2017, 41(10): 3140-3146. HU Wei, ZHENG Le, MIN Yong, et al. Research on power system transient stability assessment based on deep learning of big data technique[J]. Power System Technology, 2017, 41(10): 3140-3146 (in Chinese). ( 0) |
| [17] |
朱乔木, 党杰, 陈金富, 等. 基于深度置信网络的电力系统暂态稳定评估方法[J]. 中国电机工程学报, 2018, 38(3): 735-743. ZHU Qiaomu, DANG Jie, CHEN Jinfu, et al. A method for power system transient stability assessment based on deep belief networks[J]. Proceedings of the CSEE, 2018, 38(3): 735-743 (in Chinese). ( 0) |
| [18] |
朱乔木, 陈金富, 李宏毅, 等. 基于堆叠自动编码器的电力系统暂态稳定评估[J]. 中国电机工程学报, 2018, 38(10): 2937-2946. ZHU Qiaomu, CHEN Jinfu, LI Hongyi, et al. Transient stability assessment based on stacked autoencoder[J]. Proceedings of the CSEE, 2018, 38(10): 2937-2946 (in Chinese). ( 0) |
| [19] |
杨维全, 朱元振, 刘玉田. 基于卷积神经网络的暂态电压稳定快速评估[J]. 电力系统自动化, 2019, 43(22): 46-51, 136. YANG Weiquan, ZHU Yuanzhen, LIU Yutian. Fast assessment of transient voltage stability based on convolutional neural network[J]. Automation of Electric Power Systems, 2019, 43(22): 46-51, 136 (in Chinese). DOI:10.7500/AEPS20190430037 ( 0) |
| [20] |
高昆仑, 杨帅, 刘思言, 等. 基于一维卷积神经网络的电力系统暂态稳定评估[J]. 电力系统自动化, 2019, 43(12): 18-26. GAO Kunlun, YANG Shuai, LIU Siyan, et al. Transient stability assessment for power system based on one-dimensional convolutional neural network[J]. Automation of Electric Power Systems, 2019, 43(12): 18-26 (in Chinese). DOI:10.7500/AEPS20180911006 ( 0) |
| [21] |
孙黎霞, 白景涛, 周照宇, 等. 基于双向长短期记忆网络的电力系统暂态稳定评估[J]. 电力系统自动化, 2020, 44(13): 64-72. SUN Lixia, BAI Jingtao, ZHOU Zhaoyu, et al. Transient stability assessment of power system based on bi-directional long-short-term memory network[J]. Automation of Electric Power Systems, 2020, 44(13): 64-72 (in Chinese). ( 0) |
| [22] |
YU J J Q, HILL D J, LAM A Y S, et al. Intelligent time-adaptive transient stability assessment system[J]. IEEE Transactions on Power Systems, 2018, 33(1): 1049-1058. DOI:10.1109/TPWRS.2017.2707501 ( 0) |
| [23] |
LIN Tsungyi, GOYAL P, GIRSHICK R, et al. Focal loss for dense object detection[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 2999-3007.
( 0) |
| [24] |
PASCANU R, MIKOLOV T, BENGIO Y. On the difficulty of training recurrent neural networks[C]//Proceedings of the 30th International Conference on Machine Learning. Atlana: IMLS, 2013: 1310-1318.
( 0) |
| [25] |
ZHAO Jingyu, HUANG Feiqing, LÜ Jia, et al. Do RNN and LSTM have long memory?[C]//2020 International Conference on Machine Learning. Vienna: IMLS, 2020: 11365-11375.
( 0) |
| [26] |
WAIBEL A, HANAZAWA T, HINTON G, et al. Phoneme recognition using time-delay neural networks[J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1989, 37(3): 328-339. DOI:10.1109/29.21701 ( 0) |
| [27] |
SZEGEDY C, VANHOUCKE V, IOFFE S, et al. Rethinking the inception architecture for computer vision[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 2818-2826.
( 0) |
| [28] |
KIM Y. Convolutional neural networks for sentence classification[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). Doha: Association for Computational Linguistics, 2014: 1746-1751.
( 0) |
| [29] |
HOWARD A G, ZHU Menglong, CHEN Bo, et al. Mobilenets: efficient convolutional neural networks for mobile vision applications[EB/OL]. (2017-04-17)[2017-04-17]. https://arxiv.org/abs/1704.04861.
( 0) |
| [30] |
ZHANG Xiangyu, ZHOU Xinyu, LIN Mengxiao, et al. Shufflenet: an extremely efficient convolutional neural network for mobile devices[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 6848-6856.
( 0) |
| [31] |
SHI Libao, SUN Shuming, YAO Liangzhong, et al. Effects of wind generation intermittency and volatility on power system transient stability[J]. IET Renewable Power Generation, 2014, 8(5): 509-521. DOI:10.1049/iet-rpg.2013.0028 ( 0) |
| [32] |
DOSHI-VELEZ F, KIM B. Towards a rigorous science of interpretable machine learning[EB/OL]. (2017-02-28)[2017-03-02]. https://arxiv.org/abs/1702.08608.
( 0) |
| [33] |
SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization[C]//2017 IEEE International Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 618-626.
( 0) |
| [34] |
RAMACHANDRAN P, ZOPH B, LE Q V. Searching for activation functions[EB/OL]. (2017-10-16)[2017-10-27]. https://arxiv.org/abs/1710.05941.
( 0) |
| [35] |
GAO Hongyang, CAI Lei, JI Shuiwang. Adaptive convolutional ReLUs[C]//2020 Proceedings of the Thirty-Fourth AAAI Conference on Artificial Intelligence. New York: AAAI, 2020: 3914-3921.
( 0) |
| [36] |
IOFFE S, SZEGEDY C. Batch normalization: accelerating deep network training by reducing internal covariate shift[EB/OL]. (2015-02-11)[2015-03-02]. https://arxiv.org/abs/1502.03167.
( 0) |
| [37] |
ATHAY T, PODMORE R, VIRMANI S. A practical method for the direct analysis of transient stability[J]. IEEE Transactions on Power Apparatus and Systems, 1979, PAS-98(2): 573-584. DOI:10.1109/TPAS.1979.319407 ( 0) |
| [38] |
SAUER P W, PAI M A, CHOW J H. Power system dynamics and stability: with synchrophasor measurement and power system toolbox[M]. 2nd ed. Hoboken: Wiley, 2017: 305-325.
( 0) |
| [39] |
KINGMA D P, BA J. Adam: a method for stochastic optimization[EB/OL]. (2014-12-22)[2017-01-30]. https://arxiv.org/abs/1412.6980.
( 0) |
| [40] |
徐岩, 郅静. 基于改进自适应遗传算法的PMU优化配置[J]. 电力系统保护与控制, 2015, 43(2): 55-62. XU Yan, ZHI Jing. Optimal PMU configuration based on improved adaptive genetic algorithm[J]. Power System Protection and Control, 2015, 43(2): 55-62 (in Chinese). ( 0) |
| [41] |
VAN DER MAATEN L, HINTON G. Visualizing data using t-SNE[J]. Journal of Machine Learning Research, 2008, 9(86): 2579-2605. ( 0) |
| [42] |
侯俊贤, 韩民晓, 董毅峰, 等. 基于振荡中心和电压形态的暂态功角失稳和电压失稳判断方法[J]. 电网技术, 2016, 40(5): 1509-1515. HOU Junxian, HAN Minxiao, DONG Yifeng, et al. Transient angle instability and voltage instability identification method based on oscillation center and voltage curve characteristic[J]. Power System Technology, 2016, 40(5): 1509-1515 (in Chinese). ( 0) |
| [43] |
薛安成, 周健, 刘瑞煌, 等. 采用多二元表判据的实用暂态电压稳定裕度指标研究[J]. 中国电机工程学报, 2018, 38(14): 4117-4125. XUE Ancheng, ZHOU Jian, LIU Ruihuang, et al. A new practical transient voltage stability margin index based on multiple-two-element notation criterion[J]. Proceedings of the CSEE, 2018, 38(14): 4117-4125 (in Chinese). ( 0) |