(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211169176.0 (22)申请日 2022.09.26 (71)申请人 山东大学 地址 250000 山东省济南市历城区山大南 路27号 申请人 华北电力大 学 （保定） 　 智洋创新科技股份有限公司 　 南瑞集团有限公司 　 国网浙江省电力有限公司温州供电 公司　 山东省计算中心 （国家超 级计算济 南中心） (72)发明人 聂礼强　吴建龙　关惟俐　翟永杰　 胡志坤　罗旺　郑晓云　薛佳朋　 高赞　(74)专利代理 机构 山东知圣律师事务所 37262 专利代理师 陈晓辉 (51)Int.Cl. G06V 20/52(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06N 5/02(2006.01) G06N 5/04(2006.01) G06V 10/774(2022.01) G06V 10/778(2022.01) G06V 10/82(2022.01) G07C 1/20(2006.01) (54)发明名称 云边共学习输电巡 检方法与系统 (57)摘要 本发明涉及输电线路巡检技术领域， 具体涉 及一种云边共 学习输电巡检方法与系统， 包括云 计算中心与边缘计算终端共同完成图像 分析； 云 计算中心和边缘计算终端分别部署对应的图像 处理模型； 在边缘计算终端进行一次推理后过滤 掉大部分不包含有效目标的图像， 仅对少部分包 含有效目标的图像进行收集与回流， 满足了对推 理时效性的要求， 并显著降低了数据传输成本； 回流至云计算中心的图像在此进行二次推理， 通 过大模型预训练和基于知识蒸馏的模型压缩技 术， 同时确保了云端与边端对图像处理的精度要 求； 回流至云端的数据将还作为增量数据集， 定 期在云端对模 型进行增量训练， 以提高模型的精 度； 云端模型也将定期压缩同步至边端， 保证云 边模型效能一 致。 权利要求书2页 说明书7页 附图2页 CN 115272981 A 2022.11.01 CN 115272981 A 1.一种云边共学习输电巡检方法， 其特 征在于， 包括以下步骤： S1， 边缘图像处理模型对采集终端设备采集的数据进行边缘推理， 边缘推理包括边缘 目标检测任务和边缘异常判断任务， 通过边缘目标检测任务将所有包含检测目标的图像筛 选出来形成有效数据集， 通过边 缘异常判断任务对有效数据集中有数据判断是否异常； S2， 将所述有效数据集输入云端图像处理模型进行云端二次推理， 云端二次推理包括 云端目标检测任务和云端异常判断任务， 通过云端目标检测任务将有效数据集中的目标数 据筛选出来， 并通过云端异常判断任务对其判断是否异常； S3， 所述云端图像处 理模型和边 缘图像处 理模型通过知识蒸馏技 术互相学习； S4， 将所述有效数据集中的有效数据回流到云计算中心的增量数据集， 利用所述增量 数据集对云端图像处 理模型进行增量训练， 提高推理精度。 2.根据权利要求1所述的云边共学习输电巡检方法， 其特征在于， 在步骤S1之前， 采集 终端设备对输电线路中设备元件和所在环境中包含的各类安全隐患进行图像采集形成基 础数据集， 并利用基础数据集对云端图像处 理模型进行 预训练。 3.根据权利要求2所述的云边共学习输电巡检方法， 其特征在于， 所述云端目标检测任 务通过Faster ‑RCNN目标检测模型实现， 所述异常判断任务通过异常判别算法实现； 所述 Faster‑RCNN目标检测模型和异常判别算法构成云端图像处 理的预训练大模型。 4.根据权利要求3所述的云边共学习输电巡检方法， 其特征在于， 在步骤S3中， 所述预 训练大模型作为教师模型， 通过细粒度特征知识蒸馏方法进行模型压缩， 从而获得体积更 小、 参数更少、 性能与预训练大模型相同或近似的学生模型。 5.根据权利要求4所述的云边共学习输电巡检方法， 其特征在于， 在步骤S4中， 云计算 中心收集回流图像， 以此为样本， 对应S2中的云端二次推理结果作为标签， 结合基础数据 集， 以1:9~2:8的比例共同构成增量数据集， 通过基于知识蒸馏的教师 ‑学生模型学习策略 对预训练模型增量训练。 6.根据权利要求4所述的云边共学习输电巡检方法， 其特征在于， 在步骤S4中， 经过增 量学习后的预训练大模型， 通过步骤S3中基于知识蒸馏的模型压缩方法， 生成小模型后部 署在边缘计算终端， 提高推理过程的精度。 7.根据权利要求1至6中任一所述的云边共学习输电巡检方法， 其特征在于， 所述增量 训练的流程为依次包括不增加新类、 单次增加一类、 单次增加多类、 逐步增加多类作为训练 实验条件。 8.根据权利要求3所述的云边共学习输电巡检方法， 其特征在于， 所述Faster ‑RCNN模 型架构包含RPN与 RCN模块， 分别输出定位与分类信息， 模型中的卷积特征提取网络选取两 层作为可变参数进行学习； 定义总损失函数 、 硬损失 、 软损失 以及提示损 失 ， 总损失函数为后三 者之和， 定义式如下： + + 其中 表示控制不同损失函数权重的超参数； 硬损失 由RPN、 RCN的教师模型权　利　要　求　书 1/2 页 2 CN 115272981 A 2与标签类之间分类损失和定位损失构成； 软损失 由学生模型与教师模型输出的分类 损失和定位损失构成， 所述分类损失均为交叉熵损失， 定位损失均为平滑L 1损失； 提示损失 由教师模型T与学生模型S的输出 特征构成， 定义式如下： 式中 、 、 、 分别表示教师模型与学生模型在的输出 特征图。 9.一种云边共学习输电巡检系统， 其特征在于， 包括云计算中心、 边缘计算终端和采集 终端设备； 所述云计算中心和边缘计算 终端分别对应设置 云端图像处理模块和边缘图像处 理模块， 所述云端图像处理模块对应若干个边缘图像处理模块并与其通信连接； 所述采集 终端设备用于采集输电线路场景并传输给对应的边 缘图像处 理模块； 所述边缘图像处理模块包括边缘推理模块， 所述边缘推理模块用于执行边缘目标检测 任务和边 缘异常判断任务； 所述云端图像处理模块包括云端二 次推理模块， 所述云端二 次推理模块用于执行云端 目标检测任务和云端异常判断任务； 所述边缘目标检测和云端目标检测相互关联， 所述边缘异常判断结果作为云端异常判 断的参考。权　利　要　求　书 2/2 页 3 CN 115272981 A 3