(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210561931.3 (22)申请日 2022.05.23 (65)同一申请的已公布的文献号 申请公布号 CN 114638835 A (43)申请公布日 2022.06.17 (73)专利权人 武汉大学 地址 430072 湖北省武汉市武昌区珞珈山 街道八一路2 99号 (72)发明人 肖晓晖　左晨乐　吴少诚　程佳慧　 周世煜　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 龚雅静 (51)Int.Cl. G06T 7/00(2017.01)G06T 7/13(2017.01) G06T 7/73(2017.01) B61K 9/08(2006.01) 审查员 杨霜雪 (54)发明名称 一种基于深度相机的轨枕异 物检测方法 (57)摘要 本发明公开了一种基于深度相机的轨枕异 物检测方法， 包括通过相机收集不同光照位置条 件下的轨枕彩色图像， 制作成轨枕数据集， 获取 轨枕的外包围框； 背景过滤， 根据目标检测结果 的外包围框， 过滤外包围框以外像素信息， 并设 置为黑色； 平面过滤， 过滤轨枕彩色图像中平面 的像素点； 边缘检测， 在设定区域面积阈值， 对于 大于阈值面积的区域定义为存在轨枕异物， 并通 过深度信息回归轨枕异物中心点三维坐标； 将存 在轨枕异物信号和轨枕异物中心点三维坐标发 布给上位机， 等待清除， 只需对轨枕环境的训练 就能通过深度相机实现轨枕的异物检测， 不需要 针对不同异物进行训练， 适应各种形状种类的异 物检测。 权利要求书3页 说明书8页 附图6页 CN 114638835 B 2022.08.16 CN 114638835 B 1.一种基于深度相机的轨枕异 物检测方法， 其特 征在于， 包括： 步骤S1、 目标检测神经网络训练， 将相机固定在铁路巡检平台， 通过相机收集不同光照 位置条件 下的轨枕彩色图像， 标注轨枕彩色图像中的轨枕， 制作成轨枕数据集， 将轨枕数据 集送入CenterNet目标检测神经网络中训练， 并利用训练的网络对轨枕彩色图像进行轨枕 检测， 获取轨枕的外包围框； 步骤S2、 背景过滤， 将相机获取到的实时 图像， 通过步骤S1训练的神经网络进行目标检 测， 根据目标检测结果的外包围框， 在轨枕彩色图像和对应的深度图像中采用OpenCV库中 mask函数过滤外包围框以外像素信息， 并设置为 黑色； 步骤S3、 平面过滤， 将轨枕彩色图像识别到轨枕平面区域对应至深度图像相应区域， 在 深度图像采用最小二乘法识别平面 参数， 并根据平面 参数过滤彩色图像中平面的像素点； 步骤S4、 边缘检测， 在 设定区域面积阈值， 对于大于阈值面积的区域定义为存在轨枕异 物， 并通过深度信息回归轨枕异 物中心点 三维坐标； 步骤S5、 将存在轨枕异物信号和轨枕异物中心点三维坐标发布给上位机， 清除轨枕异 物， 跳转步骤S2， 直至一段轨道中的所有轨枕检测完成。 2.根据权利要求1所述的基于深度相机的轨枕异物检测方法， 其特征在于： 包括轨枕异 物检测装置， 轨枕异物检测装置包括铁路巡检平台和上位机， 所述铁路巡检平台设有机械 臂、 深度相 机、 夹爪和收集箱， 所述机械臂和所述深度相机设置在所述铁路巡检平台上， 所 述夹爪设在所述机械臂末端， 上位机获取存在轨枕异物信号和轨枕异物中心点三维坐标， 快速规划处机械臂的运动路径， 通过机械臂末端的夹爪夹取传递给轨枕异物， 放置在收集 箱中。 3.根据权利要求1所述的基于深度相机的轨枕异物检测方法， 其特征在于： 在所述步骤 S1中， 轨枕 数据集包括3 00到400张不同光照位置条件下轨枕彩色图像。 4.根据权利要求1所述的基于深度相机的轨枕异物检测方法， 其特征在于： 在所述步骤 S1中， 不同光照位置条件包括以下各种复杂光照干扰现象中的一种： 光照不足、 地面反光、 强光照和暗阴影。 5.根据权利要求1所述的基于深度相机的轨枕异物检测方法， 其特征在于： 所述步骤S3 对轨枕平面进行过滤， 在利用最小二乘法进行平面拟合的过程中， 能够通过各离散点对目 标平面的距离平方和作为优化 函数， 来计算目标平面的参数， 三维平面的一般表达式为： Ax+By+Cz+D＝0    (1) 式中， A， B， C， D为平面 参数值， (x， y， z)为 三维空间中的点； 对于三维空间中任意 一点到三维平面的距离d能够表示 为： 整理可得： d＝a0x1+a1y1+a2z1+a3    (3) 式 中 ，( x1，y1，z1) 三 维 空 间 中 任 意 一 点 的 坐 标 ， 权　利　要　求　书 1/3 页 2 CN 114638835 B 2根据最小二乘法， 需要找到各点距离平面和最近的平面参数， 则能够计算点到平面距 离计算为： S＝∑(a0xi+a1yi+a2zi+a3)2  (4) 各点距离平面和最近的平面 参数为： 式中， Ap＝(xi， yi， zi)是拟合平面的三 维坐标矩阵， 是拟合平 面参数的 向量， b是和ApX相同形状的单位矩阵； 当需要S最小时， 则有： 所以将公式(6)对X求 导后能够得 出 即 X＝(ApTAp)‑1ApTb  (8) 将RealSense点云数据以(n， 3)的格式代入上述公式(8)中， 能够计算出轨枕的平面参 数， 根据深度图像获得图片中像素点的x、 y、 z计算轨枕平 面法向量参数， 并据轨枕平 面法向 量参数利用OpenCV库计算深度图像中各点与轨枕平 面距离， 将距离小于设定阈值的点设置 彩色图片中相应 像素颜色信息为 黑色， 完成平面过 滤。 6.根据权利要求1所述的基于深度相机的轨枕异物检测方法， 其特征在于： 所述步骤S4 采用Canny算法边 缘检测。 7.根据权利 要求6所述的基于深度相机的轨枕异物检测方法， 其特征在于： 利用OpenCV 库先计算三个通道RGB的值， 将图像转化为灰度图像， 采用高斯滤波进行降噪处理， 高斯滤 波通过两次一维高斯核加权实现或是一个二维高斯核卷积完成， 卷积后的灰度值 为： 式中， σ 表示标准差， f(x， y)为图像坐标系中每个点的灰度值； 对降噪后图像一阶差分 计算， 利用sob el算子对图像进行卷积， 能够得到图像在x轴与y轴两个方向上的梯度矩阵， 其主要作用如下： 式中， A为高斯卷积后图像灰度矩阵， Gx， Gy为计算后图像两个方向的梯度矩阵； 得到两个方向的梯度， 计算总梯度， 其中幅值为 方向为θ＝权　利　要　求　书 2/3 页 3 CN 114638835 B 3