(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221094676 0.6 (22)申请日 2022.08.09 (71)申请人 郑州大学 地址 450000 河南省郑州市高新 技术开发 区科学大道100号 (72)发明人 董家修　马铎　胡浩帮　王念念　 (74)专利代理 机构 北京棘龙知识产权代理有限 公司 11740 专利代理师 张德强 (51)Int.Cl. G06V 20/40(2022.01) G06V 10/82(2022.01) G06V 10/774(2022.01) G06V 10/74(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 一种基于优化深度学习的管道中视频损害 智能分割 系统 (57)摘要 本发明公开了一种基于优化深度学习的管 道中视频损害智能分割系统， 涉及管道病害检测 技术领域。 系统包括处理器， 处理器执行存储器 存储的计算机程序， 以实现如下步骤： 获取管道 损害图像和视频， 构建预训练数据集和精确训练 数据集； 构建用于管道视频损害分割的深度学习 模型， 所述深度学习模型包括孪生网络模块和 Seg‑CapsNet模块； 通过所述预训练数据集和所 述精确训练数据集对所述深度学习模型进行训 练； 对经训练的深度学习模型进行测试， 若测试 结果满足预设条件， 则通过训练后的深度学习模 型对目标管道视频进行分割， 得到目标管道视频 中含有损害帧的分割结果； 本发 明提升了管道视 频中的损害的分割精度。 权利要求书2页 说明书7页 附图2页 CN 115100579 A 2022.09.23 CN 115100579 A 1.一种基于优化深度学习的管道中视频损害智能分割系统， 包括存储器和 处理器， 其 特征在于， 所述处 理器执行所述存储器存储的计算机程序， 以实现如下步骤： 步骤1： 获取管道损害图像， 根据所述管道损害图像构建预训练数据集； 获取管道损害 视频， 根据所述管道损害视频构建精确训练数据集； 步骤2： 构建用于管道视频损害分割的深度 学习模型， 所述深度 学习模型包括孪生网络 模块和Seg ‑CapsNet模块； 所述孪生网络模块用于提取管道视频目标流与参考流的相似特 征， Seg‑CapsNet模块用于管道损害视频帧的分割； 所述孪生网络模块采用动态更新参考帧 策略： 动态更新管道损害视频参考流中的参考帧， 用于适应管道损害视频流中管道损害目 标区域的外观变化； Seg ‑CapsNet模块在卷积层中采用填充 卷积的方式， 用于 保留管道损害 图像的边 缘信息； 步骤3： 通过 所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练； 步骤4： 对经训练的深度学习模型进行测试， 若测试结果满足预设条件， 则通过训练后 的深度学习模型对目标 管道视频进行分割， 得到目标 管道视频中含有损害帧的分割结果。 2.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统， 其特征 在于， 所述动态更新 参考帧策略包括： 对于某一管道损害视频两个相邻视频帧Vt‑1， Vt， 及其对应的分割掩码图像Mt‑1， Mt， 计算 相邻视频帧Vt‑1， Vt之间的光 流Ft； 使用Ft对目标分割掩码Mt‑1进行warp， 并得到Vtwarp后的目标掩码Mt’； 计算Mt与Mt’的相似性 IoU： 设定一个阈值 μ， 若IoU的值大于阈值 μ， 则在进行Vt+1帧分割时， 深度学习模型将Vt， Mt视 为新的参考帧； 若I oU的值大于阈值 μ， 深度学习模型仍然 使用原始的参考帧。 3.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统， 其特征 在于， 获取管道损害图像之后， 对所述管道损害图像进 行预处理， 根据预 处理后的管道损害 图像构建预训练数据集， 所述预处 理包括： 裁剪： 将所述管道损害图像裁 剪为预设像素的尺寸； 标注： 使用lablme软件在裁剪后的管道损害图像中对病害区域进行标注， 将背景区域 标注为0， 破漏区域标注为1， 障碍物区域标注为2， 错口区域标注为3 。 4.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统， 其特征 在于， 通过 所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练， 包括： 利用所述预训练数据集进行深度学习模型的预训练； 按照4:1的比例将精确训练数据集随机分开， 80％的数据划分为训练集， 用于深度学习 模型的精确训练； 20％的数据划分为测试集， 用于深度学习模型的测试。 5.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统， 其特征 在于， 所述孪生网络模块由四个通道组成， 输入包括管道损害目标流与管道损害参考流； 所 述孪生网络模块采用权重共享的完全相同的两个ResNet101提取管道损害目标流与参考流 之间的相似特 征。 6.根据权利要求1所述的基于优化深度学习的管道视频中损害智能分割系统， 其特征权　利　要　求　书 1/2 页 2 CN 115100579 A 2在于， 所述Seg ‑CapsNet模块包括： 卷积层， 所述卷积层包括两个卷积操作， 用于提取相似特征的共同全局特征， 卷积操作 采用填充卷积； 胶囊层， 所述胶囊层由PrimaryCaps层和Digital  capsule层组成， 用于提取更深层次 的全局特 征， 生成包 含重建对象所需要的实例化 参数信息的向量形式； 全连接层， 所述全连接层采用全连接操作， 用于提高管道损害视频帧像素之间的空间 相关性； 上采样层， 采用四个反卷积操作将特征空间中抽象的损害特征还原， 用于输出管道损 害掩码图像。 7.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统， 其特征 在于， 通过 所述预训练数据集和所述精确训练数据集对所述深度学习模型进行训练包括： 设定所述深度学习模型的超参数， 对所述深度学习模型进行预训练， 所述超参数包括 初始学习率、 迭代次数、 动量 参数和权值衰减系数； 完成预训练后， 重新设置所述深度学习模型的超参数， 进行模型的精确训练； 计算所述深度 学习模型实际输出与目标输出的误差损失值， 若所述误差损失值小于预 设的损失值， 则停止模型训练。 8.根据权利要求7所述的基于优化深度学习的管道中视频损害智能分割系统， 其特征 在于， 设定所述深度学习模型的超参数包括： 将所述初始学习率、 迭代次数、 动量参数、 权值衰减系数依次设置为0.0001、 30000、 0.90、 0.0 0009。 9.根据权利要求7所述的基于优化深度学习的管道中视频损害智能分割系统， 其特征 在于， 重新设置所述深度学习模型的超参数包括： 将所述初始学习率、 迭代次数、 动量参数、 权值衰减系数依次设置为0.00001、 20000、 0.90、 0.0 0009。 10.根据权利要求1所述的基于优化深度学习的管道中视频损害智能分割系统， 其特征 在于， 所述对经训练的深度学习模型进 行测试， 若测试结果满足预设条件， 则通过训练后的 深度学习模型输出分割结果包括： 计算深度学习模型的F1 ‑score， 若所述F1 ‑score满足预设条件， 则保存训练后的深度 学习模型及权重参数， 并通过所述训练后的深度学习模型对目标管道视频进行分割， 得到 目标管道视频中含有损害帧的分割结果。权　利　要　求　书 2/2 页 3 CN 115100579 A 3