(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210538884.0 (22)申请日 2022.05.18 (65)同一申请的已公布的文献号 申请公布号 CN 114662617 A (43)申请公布日 2022.06.24 (73)专利权人 国网浙江省电力有限公司杭州供 电公司 地址 310016 浙江省杭州市上城区解 放东 路59号 专利权人 国网浙江省电力有限公司桐庐县 供电公司 (72)发明人 朱炯　张伟峰　纪前　孙微庭　 夏霖　张阳阳　陆珂　陈晓斐　(74)专利代理 机构 杭州华鼎知识产权代理事务 所(普通合伙) 33217 专利代理师 魏亮 (51)Int.Cl. G06K 9/62(2022.01) G06V 20/52(2022.01) G06V 10/74(2022.01) G01R 31/00(2006.01) G08B 21/24(2006.01) (56)对比文件 CN 114119518 A,202 2.03.01 审查员 董梦林 (54)发明名称 基于多模态学习策略的多源数据编织系统 处理方法及装置 (57)摘要 本发明提供一种基于多模态学习策略的多 源数据编织系统处理方法及装置， 对第一图像模 态信息得到第一图像信息， 对第一传感模态信息 得到第一传感信息； 将与第一图像信息的图像相 似度大于第一预设相似度的第二图像信息作为 第三图像信息； 将与第一传感信息的数据相似度 大于第二预设相似度的第二传感信息作为第三 传感信息； 根据第一图像信息中的像素点与第一 图像集合和第二图像集合中每个图像的像素点 进行计算得到图像差异度， 根据第一传感信息中 的检测值与第一传感集合和第二传感集合中每 个检测值进行计算得到传感差异度； 对图像差异 度和传感差异度进行融合比对得到第一故障提 醒信息。 本发明基于编织的数据， 可以对设备的 故障信息进行较为 准确的判断。 权利要求书6页 说明书18页 附图2页 CN 114662617 B 2022.08.09 CN 114662617 B 1.基于多模态学习策略的多源数据编织系统 处理方法， 其特 征在于， 包括： 获取第一设备的第 一图像模态信 息和第一传感模态信 息， 基于第 一学习策略对所述第 一图像模态信息进行 处理得到第一图像信息， 基于第二学习策略对所述第一传感模态信息 进行处理得到第一传感信息； 获取多源系统数据编织结构内每个编织节点与所述第一图像信息关联的第二图像信 息， 将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第三图 像信息， 根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合与第 二图像集 合； 获取多源系统数据编织结构内每个编织节点与所述第一传感信息关联的第二传感信 息， 将与所述第一传感信息的数据相似度大于第二预设相似度的第二传感信息作为第三传 感信息， 根据所述第三传感信息的第二设备标签将第三传感信息划分为第一传感集合与第 二传感集 合； 根据第一图像信息中的像素点与所述第一图像集合和第二图像集合中每个图像的像 素点进行计算得到图像差异度， 根据第一传感信息中的检测值与所述第一传感集合和 第二 传感集合中每个检测值进行计算得到传感差异度； 对所述图像差异度和传感差异度进行融合比对得到第 一比对结果， 根据 所述第一比对 结果输出第一故障提醒信息； 其中， 获取第一设备的第一图像模态信息和第一传感模态信息， 基于第一学习策略对 所述第一图像模态信息进 行处理得到第一图像信息， 基于第二学习策略对 所述第一传感模 态信息进行处 理得到第一传感信息， 包括： 所述第一图像模态信 息包括红外图像， 根据 所述红外图像中所有像素点的像素值对红 外图像进行分区处 理得到多个子设备区域； 统计每个子设备区域内的所有像素点的像素值， 生成相对应的子设备集合， 根据所述 子设备集 合生成相对应的子设备 热量； 建立与所述第一图像模态信息所对应的图像信息栏， 根据所述子设备热量、 子设备区 域生成与所述第一图像模态信息所对应的第一图像信息， 将所述第一图像信息填充至所述 图像信息栏； 所述第一传感模态信 息包括湿度信 息和温度信 息， 所述第 二学习策略根据预设的湿度 区间和温度区间对多个时刻的湿度信息和温度信息进 行提取， 得到异常温度检测值及异常 湿度检测值； 建立与所述第一传感模态信息所对应的传感信息栏， 根据所述异常温度检测值、 异常 湿度检测值生成与所述第一传感模态信息所对应的第一传感信息， 将所述第一传感信息填 充至所述传感信息栏； 其中， 获取多源系统数据编织结构内每个编 织节点与 所述第一图像信 息关联的第 二图 像信息， 将与所述第一图像信息的图像相似度大于第一预设相似度的第二图像信息作为第 三图像信息， 根据所述第三图像信息的第一设备标签将第三图像信息划分为第一图像集合 与第二图像集 合， 包括： 获取多源系统数据编织结构内每个编 织节点的设备信 息， 若所述设备信 息与第一设备 相对应， 则判断相应编织节点所对应的图像信息为与第一图像信息关联的第二图像信息；权　利　要　求　书 1/6 页 2 CN 114662617 B 2获取图像信 息栏中第 一图像信 息所对应的所有子设备区域的第 一区域数量， 以及第 二 图像信息所对应的所有子设备区域的第二区域数量； 若所述第一区域数量和第 二区域数量相对应， 则分别获取每个第 一图像信 息的子设备 区域的第一区域中心坐标， 以及每 个第二图像信息的子设备区域的第二区域中心坐标； 若所述第一区域中心坐标和第 二区域中心坐标的距离小于预设区域距离， 则判断第 一 图像信息和第二图像信息的相似度大于第一预设相似度， 将第二图像信息作为第三图像信 息； 所述第一设备标签为故障或非故障， 所述第 一图像集合表征第 一设备标签为故障的第 三图像信息的集合， 所述第二图像集合表征第一设备标签为非故障的第三图像信息的集 合； 获取所述第一传感信息中的第一温度位置信息和第一湿度位置信息； 确定与所述第一温度位置信息和第一湿度位置信息最接近的子设备区域作为温度子 设备区域和湿度子设备区域； 若第二传感信息的温度子设备区域和湿度子设备区域与第一传感信息的温度子设备 区域和湿度子 设备区域相对应， 则判断所述第二传感信息与第一传感信息的数据相似度大 于第二预设相似度； 其中， 得到第三图像信息后， 利用故障或非故障的第二设备标签来对第三传感信息进 行划分， 将其分为两类， 即第一传感集合和第二传感集合， 其中， 第一传感集合为故障的第 三传感信息的集 合， 第二传感集 合为非故障的第三传感信息的集 合。 2.根据权利要求1所述的基于多模态学习策略的多源数据编织系统处理方法， 其特征 在于， 根据所述红外图像中所有像素点的像素值对红外图像进行分区处理得到多个子设备 区域， 包括： 选中红外图像中所有处于预设像素区间内的像素值所对应的像素点作为第 一像素点， 将所有相邻的第一像素点相连接生成多个一次初始区域； 将所有未与其他第 一像素点连接的第 一像素点作为第 二像素点， 获取所述第 二像素点 与其相邻的多个第一像素点间的多个像素距离， 以及多个第一像素点所处的一次初始区域 内第一像素点的第一数量； 根据所述多个像素距离、 多个初始区域内第 一像素点的第 一数量确定与所述第 二像素 点对应的一次初始区域， 将所有第二像素点分别划分至相对应的一次初始区域， 得到所有 一次初始区域分别对应的二次初始区域； 获取所有二 次初始区域内像素点的第 二数量， 若判断存在第 二数量小于预设区域数量 的二次初始区域， 则将小于预设数量的二次初始区域与相 邻的二次初始区域合并得到子设 备区域。 3.根据权利要求2所述的基于多模态学习策略的多源数据编织系统处理方法， 其特征 在于， 获取所有二 次初始区域内像素点的第 二数量， 若判断存在第 二数量小于预设数量的二 次初始区域， 则将小于预设数量的二次初始区域与相 邻的二次初始区域合并得到子 设备区 域， 包括：权　利　要　求　书 2/6 页 3 CN 114662617 B 3