(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221091964 4.5 (22)申请日 2022.08.02 (71)申请人 南京熊猫电子股份有限公司 地址 210002 江苏省南京市玄武区中山 东 路301号 申请人 南京熊猫信息产业有限公司 (72)发明人 郭旭周　徐舒　胡鹏路　张振焜　 李勇　孙昊　章澜岚　顾勇　 (74)专利代理 机构 南京苏高专利商标事务所 (普通合伙) 32204 专利代理师 柏尚春 (51)Int.Cl. G06V 20/40(2022.01) G06N 3/08(2006.01) G06V 10/44(2022.01)G06V 10/74(2022.01) G06V 10/75(2022.01) G06V 10/764(2022.01) G06V 10/82(2022.01) (54)发明名称 一种基于多特征的城轨防汛预警方法及系 统 (57)摘要 本发明公开了一种基于多特征的城轨防汛 预警方法及系统， 包括以下步骤： (1)视频流抽帧 解码及格式转化； (2)图像预处理； (3)提取背景 图像； (4)铁轨特征提取； (5)轨道异常入侵检测 及定位； (6)深度学习神经网络积水检测； (7)积 水检测置信度计算； (8)积水深度检测； (9)智能 预警。 本发 明有效提高了城轨运营人员对积水灾 害识别的及时性和准确性， 有助于决策人员迅速 做出应急响应， 切实保障汛期城轨运营安全。 权利要求书5页 说明书11页 附图4页 CN 115410114 A 2022.11.29 CN 115410114 A 1.一种基于多特 征的城轨防汛预警方法， 其特 征在于， 包括以下步骤： (1)视频流抽帧解码及格式转化， 获取视频流并抽帧、 解码、 格式转换， 得到RGB格式的 连续帧图像； (2)图像预处理， 对连续帧图像进行图像增强、 去噪， 对图像进行裁剪， 并缩放至指定尺 寸； (3)提取背景图像， 获取无异物入侵正常状态下的轨道监控视频， 采用统计直方图法提 取监控视频影像的背景影像； 对N帧图像中每一个像素位置出现的像素值以及各像素值出 现的次数进行统计， 选取每个像素位置出现次数最多的N/10个像素值， 以出现的次数作为 权重加权计算得 出该像素位置的背景像素值， 计算公式如下： 式中， Nk(i,j)为背景影像在像素位置(i,j)处出现次数最多的N/10个像素值， Ck为Nk (i,j)对应的权 重； (4)铁轨特征提取； (5)轨道异常入侵检测及定位； (6)深度学习神经网络积水检测， 当检测到轨道区域存在异物入侵后， 分割异物入侵区 域图像， 进行积水属性检测； 从监控视频中采集备选图像样本， 标注积水信息， 对每幅图像 预处理后， 分别提取输入图像的颜色、 纹理和轮廓， 作为ResNet残差网络并行通道的输入， 训练完成后用于实时图像的检测； 设置ResNet残差网络共50层， 其中， 1～20层的卷积核大 小为7×7， 21～40层卷积核的大小为5 ×5， 41～50层的卷积核心大小为3 ×3； 第50层采用 Softmax分类 器； (7)积水检测置信度计算， 通过多帧置信分析的策略， 提高积水检测的准确率； 在提取 图像进行分类的同时， 启动计数器C、 Cw， C和Cw分别表示检测帧数和积水检测结果累计帧 数， 每识别一帧， 则C累加1， 如分类结果为积水， 则Cw累加1， 当C累计到一定帧数， 计算积水 置信度αw， 按以下公式计算： 设置置信度阈值 L， 当α r>L， 判定类别为积水； (8)积水深度检测模块， 针对承接式轨枕的轨道， 以轨顶、 轨底、 轨枕为深度标志位； 针 对埋入式和嵌入式轨枕的轨道， 以轨顶、 轨底、 扣件系统为深度标志位； 当判定检测区图像 为积水时， 依次分割各深度标志 位图像， 提取标志 位区域的图像指纹特征， 结合无积水正常 状态轨顶的图像指纹特征， 采用基于汉明距离的图像特征相似度判定法， 检测该深度标志 位是否积水； 检测积水是否淹没轨底时， 按照下式计算积水状况下标志位区域的图像指纹特征与 无 积水正常状态轨顶的图像指纹特 征的汉明距离： 式中， p[i]为实时图像中轨底标志位的指纹特征， q[i]为无积水状态下轨底标志位的 指纹特征； 设置阈值D， 当相似度s(x,y)小于阈值D时， 判定积水深度未达到轨顶； 反之， 则积权　利　要　求　书 1/5 页 2 CN 115410114 A 2水深度达 到轨顶； (9)智能预警， 根据积水面积和深度数据， 综合分析得到灾害严重程度级别， 启动相应 的应急措施， 智能预警包括 光电警报器、 系统警报、 AP P警报、 微信小程序警报、 短信警报。 2.根据权利要求1所述一种基于多特征的城轨防汛预警方法， 其特征在于， 所述步骤 (4)具体包括： (4.1)将铁轨区域图像分割成大小相同的切片单元， 对于支承式轨枕的轨道， 提取各个 切片单元的轨顶、 轨底、 轨枕直线特 征； (4.2)对于埋入式和 嵌入式轨枕的轨道， 提取各个切片单元的轨顶、 轨底直线特征， 及 扣件系统区域的图像指纹特 征； 所述扣件系统指轨道上用以联 结钢轨和轨枕的部分。 3.根据权利要求2所述一种基于多特征的城轨防汛预警方法， 其特征在于， 所述步骤 (4.1)具体包括： (4.1.1)对于支承式轨枕的轨道， 将接收的经步骤(3)处理的背景影像分割为大小相同 的切片单元， 采用OTSU算法对各切片单元进行二值化处理， 采用Sobel边缘算子与Canny边 缘算子相结合的边 缘检测算法对二 值化图像中的轨顶、 轨枕、 轨底边 缘进行提取； (4.1.2)采用Hough变换检测图像中轨顶、 轨枕、 轨底的直线特征， 根据 直线的截距和角 度信息确定直线的位置， 每一条直线采用参数 方程( ρ, θ )来表示： ρ ＝x*cosθ +y*si nθ 设定θ 的步长， 对切片单元中的每一个像素进行极坐标变换， 将变换后对应的累加器加 一， 设置阈值T， 累加器中大于阈值T对应的点即可确定一条直线。 4.根据权利要求2或3所述一种基于多特征的城轨防汛预警方法， 其特征在于， 所述步 骤(4.2)具体包括： (4.2.1)对于埋入式和嵌入式轨枕的轨道， 提取各个切片单元的轨顶、 轨底直线特征的 算法同步骤(4.1)； (4.2.2)对扣件系 统各个切片单元进行图像增 强及小波去噪处理， 并采用双线性内插 法调整大小； (4.2.3)提取各个切 片单元的色调H通道、 饱和度S通道和亮度 值V通道图像， 归一化HSV 信息； (4.2.4)分别提取H通道、 S通道、 V通道像素平均值特 征， 如下式： 式中， N和M别表示切片单 元的高和宽， Pij表示H、 S、 V每 个通道上第i行第j列的像素值； (4.2.5)分别提取H通道、 S通道、 V通道离 散余弦变换矩阵， 如下式： 权　利　要　求　书 2/5 页 3 CN 115410114 A 3